LLM-VM
活跃·★ 490·更新于 2024-05-14
★ 时下流行
Anarchy LLM-VM 是一个优化的后端，旨在运行具有工具使用和持久内存等现代功能的开源大型语言模型。它作为人类语言的虚拟机，协调模型、数据、提示和工具，以优化批量调用并支持各种架构。
LLM-VM 当前归类于 LLM Infra，更适合那些希望围绕具体工作流而不是单一功能点来选型的团队。从当前资料来看，它尤其强调 隐式智能体、加速AGI开发和原型设计 这类能力。同时它也具备一定社区热度，当前 GitHub Stars 为 490。
#大型语言模型#开源人工智能#推理优化#智能体#Python
01
功能特性
01隐式智能体
02推理优化
03任务自动优化
04可作为库调用
05HTTP 端点
02
为什么选择它
+隐式智能体
+加速AGI开发和原型设计
+覆盖 7 个兼容环境或平台，更适合需要跨端部署的团队。
+最近一次更新时间为 2024-05-14，说明项目仍在持续维护。
03
权衡点
!同分类下还有 8 个相关工具可比较，最终选择更适合在同类对比后决定。
04
兼容性
chat_gpt
支持
已通过文档验证
gpt
支持
已通过文档验证
neo
支持
已通过文档验证
llama2
支持
已通过文档验证
bloom
支持
已通过文档验证
opt
支持
已通过文档验证
05
快速开始
1
$ pip install llm-vm
06
使用场景
↳加速AGI开发和原型设计
↳降低本地运行和测试LLM模型的成本
↳灵活切换和评估不同的开源LLM模型
07
同类对比
≈LLM-VM 属于 LLM Infra 分类，适合与 MetaGPT 等同类工具一起比较，而不是单独判断。
≈如果你的核心需求更接近“加速AGI开发和原型设计”，那么这类场景会比泛用型工具对比更有参考价值。
≈LLM-VM 的许可信息和社区热度都应该与同类项目一起看。
08
同类工具
相关搜索
评论
登录后发表评论
暂无评论，来发表第一条吧