LLM-VM
活跃·★ 491·更新于 2024-05-14
★ 时下流行
Anarchy LLM-VM 是一个为开源大型语言模型设计的、功能丰富的开源AGI服务器后端。
Anarchy LLM-VM 是一个优化的后端,旨在运行具有工具使用和持久内存等现代功能的开源大型语言模型。它作为人类语言的虚拟机,协调模型、数据、提示和工具,以优化批量调用并支持各种架构。
#大型语言模型#开源人工智能#推理优化#智能体#Python
01
功能特性
01隐式智能体
02推理优化
03任务自动优化
04可作为库调用
05HTTP 端点
02
兼容性
chat_gpt
支持
已通过文档验证
gpt
支持
已通过文档验证
neo
支持
已通过文档验证
llama2
支持
已通过文档验证
bloom
支持
已通过文档验证
opt
支持
已通过文档验证
03
快速开始
1
$ pip install llm-vm
04
使用场景
↳加速AGI开发和原型设计
↳降低本地运行和测试LLM模型的成本
↳灵活切换和评估不同的开源LLM模型
05
同类工具
相关搜索
评论
登录后发表评论
暂无评论,来发表第一条吧