LLM-VM
★ 493·MIT·更新于 2024-05-14
Anarchy LLM-VM 是一个优化的后端,旨在运行具有工具使用和持久内存等现代功能的开源大型语言模型。它作为人类语言的虚拟机,协调模型、数据、提示和工具,以优化批量调用并支持各种架构。
LLM-VM 当前归类于 大模型基础设施,更适合按具体工作流、部署方式和团队场景来判断是否适配。从现有资料来看,它主要强调 隐式智能体。典型使用场景包括 加速AGI开发和原型设计。页面记录的许可证为 MIT。当前 GitHub Stars 为 492。相关标签包括 大型语言模型、开源人工智能。
#大型语言模型#开源人工智能#推理优化#智能体#Python
01
功能特性
01隐式智能体
02推理优化
03任务自动优化
04可作为库调用
05HTTP 端点
02
为什么选择它
+隐式智能体
+推理优化
+加速AGI开发和原型设计
+覆盖 7 个兼容平台或环境。
03
权衡点
!最终选型仍建议与同类工具做并排比较,而不是单看单页信息。
04
兼容性
chat_gpt
支持
已通过文档验证
gpt
支持
已通过文档验证
neo
支持
已通过文档验证
llama2
支持
已通过文档验证
bloom
支持
已通过文档验证
opt
支持
已通过文档验证
05
快速开始
1
$ pip install llm-vm
06
使用场景
↳加速AGI开发和原型设计
↳降低本地运行和测试LLM模型的成本
↳灵活切换和评估不同的开源LLM模型
07
同类工具
评论
登录后发表评论
暂无评论,来发表第一条吧