coder_eval
活跃·★ 154·Apache-2.0·更新于 2026-10-21
Coder Eval 在沙箱中让真实的编程智能体(Claude Code、Codex、Antigravity、OpenCode 或 Pi)执行声明式 YAML 任务,并对其产出的文件和命令打分。支持 0.0-1.0 加权评分、技能触发检查、A/B 实验和成本统计,可作为 CI 的质量门禁。
#智能体评测#智能体技能#智能体测试#Anthropic#Claude#Claude Code#Claude Code 插件市场#Claude Code 技能
01
功能特性
01声明式 YAML 任务,固定依赖并定义成功标准
02带资源限制的沙箱执行
030.0-1.0 加权评分,包括大模型评分细则和技能触发检查
04跨智能体、模型、工具和提示词的 A/B 实验
05记录每次工具调用、token 数和成本
02
兼容性
Claude Code
默认运行时
已通过文档验证
Codex
运行时
已通过文档验证
OpenCode
运行时
已通过文档验证
GitHub Actions
CI
已通过文档验证
03
快速开始
1
$ uv tool install coder-eval
04
使用场景
↳在自己领域的任务上对编程智能体做基准测试
↳验证技能在目标智能体中是否真的会被触发
↳智能体或技能质量退化时让 CI 构建失败
05
同类工具
⚡热门对决:
评论
登录后发表评论
暂无评论,来发表第一条吧