开源 AI 智能体可观测性、Tracing 与评测工具推荐

当 AI 智能体进入多轮工具调用循环后,普通接口日志很难解释为什么某次任务失败、卡住或消耗了异常高的 Token。团队需要覆盖提示词与工具调用的链路追踪、可复现的评测基准,以及面向生产合规的防篡改审计记录。

这份清单整理了站内已评测的开源可观测性工具,涵盖全链路 Tracing 与评测平台、MCP 调试检查器、本地编程 Agent 成本看板、综合评测基准与审计追踪数据库。

AgentIndex · 更新于 2026-11-21

按职责划分的智能体可观测性工具

按你的核心诉求选择:全链路追踪与评测、本地编程 Agent 成本监控,还是生产审计与告警。

  1. 全链路追踪与评测

    链路追踪、MCP 调试与多轮评测。

  2. 本地编程 Agent 监控

    基于 SQLite 的本地会话与 Token 账单。

  3. 审计留痕与运维告警

    防篡改决策日志与告警编排。

快速选择

  • lmnr — Apache-2.0 开源 AI 智能体可观测性平台,支持全链路 Tracing、评测与 SQL 检索。
  • inspector — 专注 MCP Server 与 MCP 应用的调试、检查和评测工作台。
  • AgentBench — 清华开源的容器化智能体评测基准(Apache-2.0),适合横向评估不同模型的多轮执行能力。
  • Claude-Code-Agent-Monitor — 本地优先的监控面板,可视化追踪 Claude Code、Cursor 与 Codex 的会话记录与 Token 成本估算。
  • ZizkaDB — 防篡改 AI 智能体审计追踪数据库,支持会话回放与合规决策留痕。
  • langfuse-mcp — MIT 协议的 Langfuse MCP Server,提供 37 个工具让智能体直接查询 Trace、评分与提示词。

并排对比

工具简介Star许可证最近推送维护状况近 90 天发布近 12 周提交安装
lmnr面向 AI 智能体的开源可观测性平台:追踪、评测和 SQL 访问3.5kApache-2.02026-11-20活跃8近 12 周提交: 21, 13, 14, 39, 21, 26, 20, 23, 28, 32, 22, 0git clone https://github.com/lmnr-ai/lmnr
inspector用于调试、测试和评估 MCP 服务与应用的开发平台2.3k未知2026-11-21活跃30近 12 周提交: 174, 157, 172, 219, 257, 225, 145, 221, 240, 75, 133, 199npx @mcpjam/inspector@latest
AgentBench清华大学 Apache-2.0 许可的基准测试,评估大模型作为智能体的能力,现为函数调用版本,任务全部容器化3.8kApache-2.02026-02-08放缓0近 12 周提交: 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0pip install -r requirements.txt
Claude-Code-Agent-Monitor面向 Claude Code、Cursor 与 Codex 的本地优先会话监控仪表盘,提供会话轨迹检索、工具调用拓扑、Token 成本估算与任务恢复控制1.2kMIT2026-11-21活跃22近 12 周提交: 11, 32, 20, 28, 15, 54, 15, 60, 17, 19, 22, 1git clone https://github.com/hoangsonww/Claude-Code-Agent-Monitor.git
codex-usage-tracker专为 OpenAI Codex 打造的本地优先可观测性分析仪表盘,深入本地日志与 SQLite 索引透视 Token 消耗与成本。196MIT2026-10-14活跃0近 12 周提交: 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0python -m pip install --user pipx
ZizkaDB面向 AI 智能体的防篡改审计追踪数据库,提供会话回放、时空回溯调试与欧盟 AI 法案第 12 条合规支持。163未知2026-11-21活跃9近 12 周提交: 38, 20, 7, 26, 8, 8, 11, 51, 84, 77, 44, 29curl -fsSL https://raw.githubusercontent.com/Zizka-ai/ZizkaDB/main/scripts/qu…
langfuse-mcp专为 Langfuse 可观测性平台打造的企业级 MCP 服务端,提供覆盖调用链路追踪、会话分析与评估打分的 37 项工具112MIT2026-11-06活跃6近 12 周提交: 0, 7, 0, 9, 0, 1, 2, 1, 2, 1, 0, 0pip install langfuse-mcp
keep带 YAML 工作流的开源告警管理与 AIOps 平台12.5k未知2026-11-20活跃2近 12 周提交: 2, 1, 7, 2, 0, 1, 0, 0, 1, 0, 7, 3git clone https://github.com/keephq/keep.git

本清单中已有 AgentIndex 深度评测的工具: 8/8

如何选择

  • 先区分线上链路追踪与开发期调试:Laminar 适合线上 Trace 与 SQL 检索,MCPJam Inspector 更聚焦开发期的 MCP Server 调试与评测。
  • 如果核心诉求是追踪本地编程 Agent(Claude Code、Cursor、Codex)的会话与 Token 账单,本地优先的 SQLite 面板无需把对话传到外部服务。
  • 涉及合规或高风险操作时,优先考虑支持防篡改日志与会话回放的审计数据库,而不只是普通指标监控。
  • 留意部署开销与开源协议:本清单以 Apache-2.0 与 MIT 为主,个别项目未标注标准协议,商用前需核对。

常见问题

哪款开源工具支持免费的 AI 智能体全链路 Tracing?

Laminar(lmnr)采用 Apache-2.0 协议,专为 AI 智能体设计了全链路 Tracing、评测与 SQL 查询能力,可免费自托管。如果团队已部署 Langfuse,也可搭配 langfuse-mcp 让智能体直接通过 MCP 查询链路。

如何在本地监控 Claude Code 或 Codex 的 Token 消耗?

Claude-Code-Agent-Monitor 和 codex-usage-tracker 均基于本地 SQLite 运行,可在不上传代码的条件下可视化会话记录与 Token 消耗估算。

什么时候需要专门的审计数据库而不是普通 Tracing?

普通 Tracing 偏重研发排查耗时与提示词;当业务需要满足合规留痕或事故追责时,ZizkaDB 这类带防篡改校验和会话回放的审计数据库更合适。

这份清单怎么来的

工具由我们从收录的项目中人工挑选,优先选择我们深度评测过的。Star、许可证、最近推送日期和安装命令来自各项目仓库,并随站点数据刷新。维护状况列来自 GitHub API(是否归档、最近提交、近 90 天发布数),每天刷新。我们阅读了每个项目的 README 和文档,但没有逐个实际运行,依赖前请自行测试。

更多清单