LLM-VM
活跃·★ 491·更新于 2024-05-14
★ 时下流行
Anarchy LLM-VM 是一个优化的后端,旨在运行具有工具使用和持久内存等现代功能的开源大型语言模型。它作为人类语言的虚拟机,协调模型、数据、提示和工具,以优化批量调用并支持各种架构。
LLM-VM 当前归类于 LLM Infra,更适合那些希望围绕具体工作流而不是单一功能点来选型的团队。从当前资料来看,它尤其强调 隐式智能体、加速AGI开发和原型设计 这类能力。同时它也具备一定社区热度,当前 GitHub Stars 为 491。
#大型语言模型#开源人工智能#推理优化#智能体#Python