coder_eval
★ 154
vs
mcp-nixos
★ 864
coder_eval vs mcp-nixos
coder_eval：Coder Eval 在沙箱中让真实的编程智能体（Claude Code、Codex、Antigravity、OpenCode 或 Pi）执行声明式 YAML 任务，并对其产出的文件和命令打分。支持 0.0-1.0 加权评分、技能触发检查、A/B 实验和成本统计，可作为 CI 的质量门禁。；mcp-nixos：MCP-NixOS是一个MCP服务器，提供有关NixOS包、选项、Home Manager、nix-darwin等的准确实时信息。它不需要安装Nix即可在任何系统上运行，仅用两个工具即可查询多个数据源。
01
简评
coder_evalDev Tooling · ★ 154
在自己领域的任务上对编程智能体做基准测试
mcp-nixosDev Tooling · ★ 864
AI助手查询NixOS包信息
02
并排对比
03
功能特性
coder_eval01声明式 YAML 任务，固定依赖并定义成功标准
02带资源限制的沙箱执行
030.0-1.0 加权评分，包括大模型评分细则和技能触发检查
04跨智能体、模型、工具和提示词的 A/B 实验
05记录每次工具调用、token 数和成本
mcp-nixos01统一查询工具，支持多种操作和数据源
02包版本历史，包含提交哈希
03二进制缓存状态检查
04本地flake输入探索
05无需安装Nix即可运行
04
使用场景
coder_eval↳在自己领域的任务上对编程智能体做基准测试
↳验证技能在目标智能体中是否真的会被触发
↳智能体或技能质量退化时让 CI 构建失败
mcp-nixos↳AI助手查询NixOS包信息
↳浏览Home Manager或nix-darwin配置选项
↳检查包是否在二进制缓存中
FAQ
常见问题
coder_eval 和 mcp-nixos 有什么区别？
coder_eval 和 mcp-nixos 都属于 Dev Tooling 类别。coder_eval 有 154 Stars，mcp-nixos 有 864 Stars。
coder_eval 和 mcp-nixos 哪个更好？
最佳选择取决于你的具体需求。在自己领域的任务上对编程智能体做基准测试 时选 coder_eval，AI助手查询NixOS包信息 时选 mcp-nixos。
coder_eval 是免费的吗？
是的，coder_eval 在 GitHub 开源（Apache-2.0）。
mcp-nixos 是免费的吗？
是的，mcp-nixos 在 GitHub 开源（MIT）。
推荐云部署
Ad在 DigitalOcean 上一键部署
为你的 MCP 服务、Docker 容器与智能体提供即开即用云服务器，新用户立享 $200 免费额度（60天有效）。
→