llama-cpp-agent
活跃·★ 661·NOASSERTION·更新于 2026-03-09
★ 宝藏工具
llama-cpp-agent 是一个用于与 llama.cpp 模型交互的 Python 框架，提供聊天、结构化函数调用和 JSON 格式输出的统一接口。即使模型未专门针对函数调用微调，框架也能正常工作。开发者可以定义工具和可调用函数，由智能体直接调用，适合构建无需云端依赖的本地 Agent 工作流。
llama-cpp-agent 当前归类于 大模型基础设施，更适合按具体工作流、部署方式和团队场景来判断是否适配。从现有资料来看，它主要强调 支持 llama.cpp 模型的结构化函数调用。典型使用场景包括 基于开源 LLM 构建本地 Agent 流水线。页面记录的许可证为 NOASSERTION。当前 GitHub Stars 为 659。相关标签包括 智能体框架、通信。
#智能体框架#通信
01
功能特性
01支持 llama.cpp 模型的结构化函数调用
02即使模型未做函数调用微调也可输出 JSON 结构数据
03支持多轮对话的聊天接口
04Python 原生工具/函数定义与绑定
05完全本地部署，无需云端依赖
02
为什么选择它
+支持 llama.cpp 模型的结构化函数调用
+即使模型未做函数调用微调也可输出 JSON 结构数据
+基于开源 LLM 构建本地 Agent 流水线
+覆盖 3 个兼容平台或环境。
03
权衡点
!最终选型仍建议与同类工具做并排比较，而不是单看单页信息。
04
兼容性
Python
Python 3.9+
已通过文档验证
llama.cpp
原生支持
已通过文档验证
Ollama
支持
已通过文档验证
05
快速开始
1
$ pip install llama-cpp-agent
06
使用场景
↳基于开源 LLM 构建本地 Agent 流水线
↳无需微调即可从 LLM 响应中提取结构化数据
↳在消费级硬件上快速原型化函数调用工作流
07
同类工具
评论
登录后发表评论
暂无评论，来发表第一条吧