AgentIndex icon
AgentIndex
工具MCP 服务HOT分类热门最新选型清单对比指南
提交工具
工具MCP 服务HOT分类热门最新选型清单对比指南
首页/
开发者工具/
coder_eval
coder_eval logo

coder_eval

活跃·★ 154·Apache-2.0·更新于 2026-10-21

Coder Eval 在沙箱中让真实的编程智能体(Claude Code、Codex、Antigravity、OpenCode 或 Pi)执行声明式 YAML 任务,并对其产出的文件和命令打分。支持 0.0-1.0 加权评分、技能触发检查、A/B 实验和成本统计,可作为 CI 的质量门禁。

#智能体评测#智能体技能#智能体测试#Anthropic#Claude#Claude Code#Claude Code 插件市场#Claude Code 技能
$ 安装
$ uv tool install coder-eval
↗ 访问官网★ GitHub
01

功能特性

01声明式 YAML 任务,固定依赖并定义成功标准
02带资源限制的沙箱执行
030.0-1.0 加权评分,包括大模型评分细则和技能触发检查
04跨智能体、模型、工具和提示词的 A/B 实验
05记录每次工具调用、token 数和成本
02

兼容性

Claude Code
默认运行时
已通过文档验证
Codex
运行时
已通过文档验证
OpenCode
运行时
已通过文档验证
GitHub Actions
CI
已通过文档验证
03

快速开始

1
$ uv tool install coder-eval
04

使用场景

↳在自己领域的任务上对编程智能体做基准测试
↳验证技能在目标智能体中是否真的会被触发
↳智能体或技能质量退化时让 CI 构建失败
05

同类工具

⚡热门对决:
VSreticle★1.3k→VSagents-best-practices★2.4k→VSGenexus18MCP★38→VSAuto-claude-code-research-in-sleep★17.9k→
reticle logo
reticle★ 1.3k
让编程智能体驱动真实运行的应用来验证改动是否生效,返回“通过 / 失败 / 无法判断”的结论并附上需要修改的 file:line。
VS对比→
agents-best-practices logo
agents-best-practices★ 2.4k
面向 Codex 与 Claude Code 的中立 Agent 技巧库,涵盖 Agentic 运行时框架设计最佳实践
VS对比→
Genexus18MCP logo
Genexus18MCP★ 38
GeneXus MCP 服务器允许AI代理读取、编辑、分析和重构GeneXus 18知识库中的对象。
VS对比→
Auto-claude-code-research-in-sleep logo
Auto-claude-code-research-in-sleep★ 17.9k
一个利用Claude Code和其他LLM在用户睡眠时自动进行机器学习研究的工具。
VS对比→
mcp-nixos logo
mcp-nixos★ 864
一个提供NixOS包、选项等准确实时信息的MCP服务器。
VS对比→
vurb.ts logo
vurb.ts★ 255
生产级MCP服务器的MVA框架。
VS对比→
3dsmax-mcp logo
3dsmax-mcp★ 326
连接AI助手与Autodesk 3ds Max的MCP服务器。
VS对比→
whatsapp-mcp logo
whatsapp-mcp★ 251
基于模型上下文协议(MCP)的WhatsApp服务器,支持Claude读取和发送WhatsApp消息。
VS对比→
查看全部替代品 →

评论

登录后发表评论

暂无评论,来发表第一条吧

本页内容
01功能特性02兼容性03快速开始04使用场景05同类工具
UiPath /
coder_eval
↗

评测和基准测试 AI 编程智能体及其技能的框架:用声明式 YAML 任务在沙箱中运行真实智能体,支持 A/B 实验和 CI 门禁。

154Apache-2.0
最后更新2天前
状态活跃
分类开发者工具
链接
文档↗讨论↗问题↗版本↗
推荐云部署
Ad

在 DigitalOcean 上一键部署

为你的 MCP 服务、Docker 容器与智能体提供即开即用云服务器,新用户立享 $200 免费额度(60天有效)。

立即领取 $200 免费额度
© 2026 AgentIndex.app|由十年 iOS 开发者构建。
按场景挑选关于我们联系我们广告合作隐私政策使用条款QYSGitHub请作者喝咖啡 ☕

按分类浏览

MCP 服务器代码助手工作流自动化RAG / 知识库多智能体浏览器自动化大模型基础设施开发者工具可观测性

与 Anthropic, OpenAI 或 Microsoft 无关。