AgentIndex icon
AgentIndex
工具MCP 服务HOT分类热门最新选型清单对比指南
提交工具
工具MCP 服务HOT分类热门最新选型清单对比指南
首页/
可观测性/
AgentBench
AgentBench logo

AgentBench

活跃·★ 3.8k·Apache-2.0·更新于 2026-02-08
★ 必备神器

AgentBench 来自清华大学 THUDM 团队,是评估大模型作为智能体能力的基准测试(ICLR 2024)。当前仓库是 AgentBench FC,即函数调用版本,与端到端多任务、多轮智能体强化学习框架 AgentRL 集成。原来基于提示词的版本仍可在 v0.1 和 v0.2 中找到。

AgentBench FC 的任务全部容器化:alfworld、数据库基准、知识图谱任务、操作系统交互和 webshop。拉取或构建任务镜像、下载 Freebase 数据之后,一条 Docker Compose 命令就能启动 AgentRL 控制器、每个任务的 worker、Freebase 服务器和 Redis。众多模型的结果公布在公开排行榜上。

它面向的是比较模型智能体能力的研究者和团队,而不是用来构建智能体。README 提醒,webshop 启动约需 16 GB 内存,alfworld 的 worker 会持续占用内存和磁盘,直到重启。我们的数据显示最近一次推送是 2026-02-08。

本文根据项目 README 和公开仓库数据整理,我们没有实际试用过该工具。数据截至 2026-11-06。

许可证
Apache-2.0
最新发布
没有 GitHub 发布版本
最近提交
2026-02-08
贡献者
13
复刻数
296
未关闭的 issue 和 PR
80
首次发布
2023-07-28

来源:GitHub、npm 和 PyPI 的公开接口。

#LLM评估#智能体基准测试#函数调用#Docker#多任务学习
$ 安装
$ pip install -r requirements.txt
↗ 访问官网★ GitHub
01

功能特性

01对大型语言模型作为智能体在多样化环境中的表现进行全面评估。
02集成函数调用功能,实现更高级的智能体交互。
03采用Docker Compose进行完全容器化部署,确保可复现性。
04支持多任务和多轮交互,提供真实的智能体评估。
05可扩展的框架,方便添加新的评估任务。
02

为什么选择它

+知名学术基准(ICLR 2024),有公开排行榜。
+五个容器化任务,一条 Docker Compose 命令即可启动。
+函数调用版本符合当前模型作为智能体的用法;旧版本仍可使用。
+Apache-2.0 许可,并与 AgentRL 训练框架集成。
03

权衡点

!它用来评估模型,不帮你构建智能体。
!部署较重:多个 Docker 镜像、Freebase 数据,webshop 还需约 16 GB 内存。
!README 指出 alfworld 的 worker 会持续占用内存和磁盘,直到重启。
04

维护状况检查

放缓检查日期: 2026-11-10
最近提交
2026-02-08
近 90 天提交数
0
近 90 天发布数
0
最新发布
—
未关闭 issue
80
近期 issue 至少有一条评论的比例
12/28
近 12 周每周提交数
近 12 周每周提交数: 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0

最早的一周在左边,最近 4 周为橙色。数据来源:GitHub 提交统计。

状态规则:GitHub 上已归档 = 已归档;最近提交在 90 天内 = 活跃;91 到 365 天 = 放缓;更久 = 停滞。所有数字来自所示日期的 GitHub API。

讨论最多的未关闭 issue

  • #119 我该怎么解决这个问题,跑mind2web,不太清楚该如何操作这个任务,能给出一些具体的指导吗,谢谢18 条评论 · 2024-02-20
  • #146 通过fastchat部署本地模型遇到的问题13 条评论 · 2024-07-04
  • #63 cg和ltp的std都出现了问题:Error: Worker not responding7 条评论 · 2023-11-02
  • #109 [Bug/Assistance] 6 条评论 · 2024-01-27
  • #211 [Bug/Assistance]os任务进度一直为04 条评论 · 2026-01-20

issue 标题引自 GitHub。请打开链接确认该问题是否仍适用于你使用的版本。

05

兼容性

Docker
原生支持
已通过文档验证
Python
原生支持
已通过文档验证
OpenAI API
支持
已通过文档验证
Large Language Models
支持
已通过文档验证
06

快速开始

1
$ pip install -r requirements.txt
07

使用场景

↳系统地基准测试各种基于LLM的智能体的性能。
↳开发和改进高级LLM智能体架构和策略。
↳进行关于智能体AI能力和局限性的学术研究。
08

同类工具

⚡热门对决:
VSmetamcp★2.8k→VSkeep★12.5k→VSopenstatus★9.3k→VSmcp-context-forge★4.9k→
metamcp logo
metamcp★ 2.8k
MetaMCP 是一个 MCP 代理,可以动态地将多个 MCP 服务器聚合到一个统一的 MCP 服务器中,并应用中间件。
VS对比→
Awesome-LLM-in-Social-Science logo
Awesome-LLM-in-Social-Science★ 652
该存储库是一个Awesome列表,汇集了从社会科学视角评估和对齐大型语言模型,并利用LLM促进社会科学研究、解决问题和增强工具的优秀论文。
keep logo
keep★ 12.5k
Keep是一个开源的AIOps和告警管理平台,用于统一和智能地处理所有告警和事件。
VS对比→
openstatus logo
openstatus★ 9.3k
一个开源的状态页和正常运行时间监控平台,旨在帮助用户及时了解服务状态并确保服务的可靠性。
VS对比→
mcp-context-forge logo
mcp-context-forge★ 4.9k
一个模型上下文协议网关与代理,它通过联邦、虚拟服务器、重试、安全和可选的管理UI来统一REST、MCP和A2A服务。
VS对比→
archestra logo
archestra★ 4.5k
Archestra 是一个 MCP 原生安全 AI 平台,通过用户友好的工具箱、可观测性和控制功能,简化企业内的 AI 使用,并提供强大的安全保障。
VS对比→
lmnr logo
lmnr★ 3.5k
Laminar 是一个专为 AI 智能体设计的开源可观测性平台。
VS对比→
agentgateway logo
agentgateway★ 6.3k
Agentgateway 是一个为 Agentic AI 设计的开源代理,提供完整的连接解决方案。
VS对比→
查看全部替代品 →

收录于以下清单

  • 开源 AI 智能体可观测性、Tracing 与评测工具推荐

评论

登录后发表评论

暂无评论,来发表第一条吧

本页内容
01功能特性02为什么选择它03权衡点04维护状况检查05兼容性06快速开始07使用场景08同类工具
THUDM /
AgentBench
↗

清华大学 Apache-2.0 许可的基准测试,评估大模型作为智能体的能力,现为函数调用版本,任务全部容器化

3.8k296Apache-2.0
最后更新9个月前
状态活跃
分类可观测性
贡献者13
链接
文档↗讨论↗问题↗版本↗
推荐云部署
Ad

在 DigitalOcean 上一键部署

为你的 MCP 服务、Docker 容器与智能体提供即开即用云服务器,新用户立享 $200 免费额度(60天有效)。

立即领取 $200 免费额度
© 2026 AgentIndex.app|由十年 iOS 开发者构建。
按场景挑选关于我们联系我们广告合作隐私政策使用条款QYSGitHub请作者喝咖啡 ☕

按分类浏览

MCP 服务器代码助手工作流自动化RAG / 知识库多智能体浏览器自动化大模型基础设施开发者工具可观测性

与 Anthropic, OpenAI 或 Microsoft 无关。