coder_eval
★ 154
vs
Auto-claude-code-research-in-sleep
★ 17.9k
coder_eval vs Auto-claude-code-research-in-sleep
coder_eval：Coder Eval 在沙箱中让真实的编程智能体（Claude Code、Codex、Antigravity、OpenCode 或 Pi）执行声明式 YAML 任务，并对其产出的文件和命令打分。支持 0.0-1.0 加权评分、技能触发检查、A/B 实验和成本统计，可作为 CI 的质量门禁。；Auto-claude-code-research-in-sleep：Auto-claude-code-research-in-sleep (ARIS) 是一套为机器学习研究工作流设计的自定义 Claude Code 技能集。它通过 Claude Code 执行研究任务，并由外部大型语言模型（如 GPT-5.4）进行批判性评审，实现跨模型协作。该系统能自主发现研究思路、运行实验并撰写和完善论文，让研究人员醒来即可获得提交就绪的成果。
01
简评
coder_evalDev Tooling · ★ 154
在自己领域的任务上对编程智能体做基准测试
Auto-claude-code-research-in-sleepWorkflow Automation · ★ 17.9k
何时选择它（优势与适用）：
- 你正在使用 Claude Code，希望在睡眠或离线期间让其自动执行构思假设、运行实验、收集指标的机器学习研究闭环。
- 需要双模型交叉评审机制（用第二个模型当审稿人），在实验跑通前对 Idea 和代码做批判性验证。
何时考虑替代方案：
- 需要的是通用的事实性网络深度调研与 Markdown 综述报告生成器；这种任务 GPT Researcher 更适合。
- 未在本地环境配置 Claude Code 命令行，或更偏好图形化节点画布。
02
并排对比
字段
coder_evalAuto-claude-code-research-in-sleep分类
开发者工具
工作流自动化
Stars
★ 154
★ 17.9k
许可证
Apache-2.0
MIT
安装方式
uv tool install coder-eval
git clone https://github.com/wanshuiyin/Auto-claude-code-research-in-sleep.git && cp -r Auto-claude-code-research-in-sleep/skills/* ~/.claude/skills/ && npm install -g @openai/codex && claude mcp add codex -s user -- codex mcp-server
更新时间
1天前
1天前
开源
是
是
标签
智能体评测, 智能体技能, 智能体测试
ai-research, AI 工具, aris
03
功能特性
coder_eval01声明式 YAML 任务，固定依赖并定义成功标准
02带资源限制的沙箱执行
030.0-1.0 加权评分，包括大模型评分细则和技能触发检查
04跨智能体、模型、工具和提示词的 A/B 实验
05记录每次工具调用、token 数和成本
Auto-claude-code-research-in-sleep0118 个可组合技能，支持灵活的工作流链式调用。
02自动化研究思路发现，包括文献调研、头脑风暴、新颖性检查和 GPU 试点实验。
03自主多轮评审循环，通过实验迭代改进研究成果。
04从叙述到可提交 LaTeX/PDF 的全面论文撰写流程。
05通过跨模型协作进行对抗性评审，突破单一模型盲点。
04
使用场景
coder_eval↳在自己领域的任务上对编程智能体做基准测试
↳验证技能在目标智能体中是否真的会被触发
↳智能体或技能质量退化时让 CI 构建失败
Auto-claude-code-research-in-sleep↳通过文献调研和头脑风暴，探索新的研究领域并发现新颖的研究思路。
↳自动化研究项目的迭代评审和完善过程，包括运行实验，直至达到提交标准。
↳通过完整的撰写和格式化流程，将研究叙述转化为可提交的学术论文。
05
适合场景
coder_eval—
Auto-claude-code-research-in-sleep最受欢迎时下流行
FAQ
常见问题
coder_eval 和 Auto-claude-code-research-in-sleep 有什么区别？
coder_eval 和 Auto-claude-code-research-in-sleep 都属于 Dev Tooling 类别。coder_eval 有 154 Stars，Auto-claude-code-research-in-sleep 有 17.9k Stars。
coder_eval 和 Auto-claude-code-research-in-sleep 哪个更好？
最佳选择取决于你的具体需求。在自己领域的任务上对编程智能体做基准测试 时选 coder_eval，通过文献调研和头脑风暴，探索新的研究领域并发现新颖的研究思路。 时选 Auto-claude-code-research-in-sleep。
coder_eval 是免费的吗？
是的，coder_eval 在 GitHub 开源（Apache-2.0）。
Auto-claude-code-research-in-sleep 是免费的吗？
是的，Auto-claude-code-research-in-sleep 在 GitHub 开源（MIT）。
推荐云部署
Ad在 DigitalOcean 上一键部署
为你的 MCP 服务、Docker 容器与智能体提供即开即用云服务器，新用户立享 $200 免费额度（60天有效）。
→