AgentBench
活跃·★ 3.8k·Apache-2.0·更新于 2026-02-08
★ 必备神器
AgentBench 来自清华大学 THUDM 团队,是评估大模型作为智能体能力的基准测试(ICLR 2024)。当前仓库是 AgentBench FC,即函数调用版本,与端到端多任务、多轮智能体强化学习框架 AgentRL 集成。原来基于提示词的版本仍可在 v0.1 和 v0.2 中找到。
AgentBench FC 的任务全部容器化:alfworld、数据库基准、知识图谱任务、操作系统交互和 webshop。拉取或构建任务镜像、下载 Freebase 数据之后,一条 Docker Compose 命令就能启动 AgentRL 控制器、每个任务的 worker、Freebase 服务器和 Redis。众多模型的结果公布在公开排行榜上。
它面向的是比较模型智能体能力的研究者和团队,而不是用来构建智能体。README 提醒,webshop 启动约需 16 GB 内存,alfworld 的 worker 会持续占用内存和磁盘,直到重启。我们的数据显示最近一次推送是 2026-02-08。
#LLM评估#智能体基准测试#函数调用#Docker#多任务学习
01
功能特性
01对大型语言模型作为智能体在多样化环境中的表现进行全面评估。
02集成函数调用功能,实现更高级的智能体交互。
03采用Docker Compose进行完全容器化部署,确保可复现性。
04支持多任务和多轮交互,提供真实的智能体评估。
05可扩展的框架,方便添加新的评估任务。
02
为什么选择它
+知名学术基准(ICLR 2024),有公开排行榜。
+五个容器化任务,一条 Docker Compose 命令即可启动。
+函数调用版本符合当前模型作为智能体的用法;旧版本仍可使用。
+Apache-2.0 许可,并与 AgentRL 训练框架集成。
03
权衡点
!它用来评估模型,不帮你构建智能体。
!部署较重:多个 Docker 镜像、Freebase 数据,webshop 还需约 16 GB 内存。
!README 指出 alfworld 的 worker 会持续占用内存和磁盘,直到重启。
04
维护状况检查
放缓检查日期: 2026-11-10
- 最近提交
- 2026-02-08
- 近 90 天提交数
- 0
- 近 90 天发布数
- 0
- 最新发布
- —
- 未关闭 issue
- 80
- 近期 issue 至少有一条评论的比例
- 12/28
近 12 周每周提交数
最早的一周在左边,最近 4 周为橙色。数据来源:GitHub 提交统计。
状态规则:GitHub 上已归档 = 已归档;最近提交在 90 天内 = 活跃;91 到 365 天 = 放缓;更久 = 停滞。所有数字来自所示日期的 GitHub API。
讨论最多的未关闭 issue
- #119 我该怎么解决这个问题,跑mind2web,不太清楚该如何操作这个任务,能给出一些具体的指导吗,谢谢18 条评论 · 2024-02-20
- #146 通过fastchat部署本地模型遇到的问题13 条评论 · 2024-07-04
- #63 cg和ltp的std都出现了问题:Error: Worker not responding7 条评论 · 2023-11-02
- #109 [Bug/Assistance] 6 条评论 · 2024-01-27
- #211 [Bug/Assistance]os任务进度一直为04 条评论 · 2026-01-20
issue 标题引自 GitHub。请打开链接确认该问题是否仍适用于你使用的版本。
05
兼容性
Docker
原生支持
已通过文档验证
Python
原生支持
已通过文档验证
OpenAI API
支持
已通过文档验证
Large Language Models
支持
已通过文档验证
06
快速开始
1
$ pip install -r requirements.txt
07
使用场景
↳系统地基准测试各种基于LLM的智能体的性能。
↳开发和改进高级LLM智能体架构和策略。
↳进行关于智能体AI能力和局限性的学术研究。
08
同类工具
收录于以下清单
评论
登录后发表评论
暂无评论,来发表第一条吧