AgentIndex icon
AgentIndex
工具MCP 服务HOT分类热门最新选型清单对比指南
提交工具
工具MCP 服务HOT分类热门最新选型清单对比指南
首页/
大模型基础设施/
chinese-llm-benchmark
chinese-llm-benchmark logo

chinese-llm-benchmark

活跃·★ 6.5k·更新于 2026-10-27
★ 必备神器★ 时下流行

ReLE(Really Reliable Live Evaluation for LLM,原名 CLiB)是持续更新的中文大模型评测。按 README 所说,它覆盖 337 个模型,既有商用模型(ChatGPT、GPT-5.2、o4-mini、Gemini 3 Pro、Claude 4.5、文心、Qwen3-Max、百川、讯飞星火、商汤日日新),也有开源模型(Kimi K2、DeepSeek V3.2、MiniMax M2.1、GLM-4.7、Llama 4、Gemma 3、Mistral)。

它评测七个领域和约 300 个细分维度:教育、医疗与心理健康、金融、法律与行政公务、推理与数学计算、语言与指令遵从,以及智能体与工具调用。排行榜包括多模态、综合(另有推理类、商用和开源三个子榜)、细化到具体学科和考试的教育榜、医师等医疗资格榜、金融资格榜、法律和公务员考试榜以及推理子任务榜。除排名外,它还公开了规模超过两百万条的大模型缺陷库供社区分析,并为私有模型提供免费评测。README 为中文,仓库没有声明许可证。

本文根据项目 README 和公开仓库数据整理,我们没有实际试用过该工具。数据截至 2026-10-24。

许可证
GitHub 未识别
最新发布
v5.10 · 2026-04-21
最近提交
2026-10-21
贡献者
2
复刻数
262
未关闭的 issue 和 PR
19
首次发布
2023-06-04

来源:GitHub、npm 和 PyPI 的公开接口。

#大模型评测#中文大模型#AI基准测试#模型排名#缺陷分析
$ 安装
$ git clone https://github.com/jeinlee1991/chinese-llm-benchmark.git
↗ 访问官网★ GitHub
01

功能特性

01广泛覆盖337+个商用及开源中文大模型。
02支持教育、医疗等7大领域及约300个细分维度的多维度能力评测。
03提供全面细致的各类能力排行榜。
04拥有超200万的大模型缺陷库,便于研究分析和改进大模型。
05为私有大模型提供免费评测服务和定制化选型支持。
02

为什么选择它

+模型覆盖面大(337 个),包括商用和开源、国内和国外的模型。
+按领域给出榜单(按学科的教育、医疗资格、金融资格、法律和公务员考试),而不是单一的总分。
+公开了超过 200 万条失败案例的缺陷库,供他人研究。
+持续更新,并为推理类、商用和开源模型分别设榜。
03

权衡点

!榜单是维护者用自己的测试集和评判方式做出的评测,应当视为一种参考,而不是权威结论。
!README 是一个很长的中文表格页面,其中有若干部分标注了 TODO。
!GitHub 上没有显示许可证,数据和表格能否复用并不明确。
04

维护状况检查

活跃检查日期: 2026-10-24
最近提交
2026-10-21
近 90 天提交数
29
近 90 天发布数
0
最新发布
v5.10 (2026-04-21)
未关闭 issue
19
近期 issue 至少有一条评论的比例
17/30
近 12 周每周提交数
近 12 周每周提交数: 1, 3, 2, 2, 2, 2, 2, 7, 2, 1, 2, 2

最早的一周在左边,最近 4 周为橙色。数据来源:GitHub 提交统计。

状态规则:GitHub 上已归档 = 已归档;最近提交在 90 天内 = 活跃;91 到 365 天 = 放缓;更久 = 停滞。所有数字来自所示日期的 GitHub API。

讨论最多的未关闭 issue

  • #14 评测数据太少了吧,这能说明问题?2 条评论 · 2023-09-14
  • #66 有计划增加文生图模型的对比吗?虽然感觉比较主观1 条评论 · 2025-05-05
  • #61 【请求】增加软件开发、编程能力的综合评测。1 条评论 · 2025-02-26
  • #86 要不把你们的微信客服开了吧,根本就不回复消息,什么服务态度??0 条评论 · 2026-09-21
  • #84 请求添加新模型:Qwen3.7-Flash0 条评论 · 2026-08-10

issue 标题引自 GitHub。请打开链接确认该问题是否仍适用于你使用的版本。

05

兼容性

OpenAI (GPT series)
支持
已通过文档验证
Google (Gemini series)
支持
已通过文档验证
Anthropic (Claude series)
支持
已通过文档验证
Baidu (ERNIE series)
支持
已通过文档验证
Alibaba (Qwen series)
支持
已通过文档验证
DeepSeek
支持
已通过文档验证
06

快速开始

1
$ git clone https://github.com/jeinlee1991/chinese-llm-benchmark.git
07

使用场景

↳对比和选择特定应用场景下表现最佳的大模型。
↳发现并改进大语言模型的能力缺陷。
↳对私有或定制化大模型进行基准测试,以优化性能和成本。
08

同类工具

⚡热门对决:
VScua★31.1k→VSE2B★14.6k→VSTrendRadar★63.2k→VSAcontext★3.7k→
cua logo
cua★ 31.1k
Cua是一个开源平台,用于构建、基准测试和部署能够操作任何计算机的智能体,并提供隔离的、可自托管的沙盒环境(Docker、QEMU、Apple Vz)。
VS对比→
E2B logo
E2B★ 14.6k
E2B 是一个开源基础设施,用于在安全隔离的云沙盒中运行 AI 生成的代码。
VS对比→
TrendRadar logo
TrendRadar★ 63.2k
一个可在30秒内快速部署的热点助手,帮助用户筛选并只查看真正关心的新闻资讯。
VS对比→
Acontext logo
Acontext★ 3.7k
Acontext是一个用于构建云原生AI代理的上下文数据平台。
VS对比→
codeinterpreter-api logo
codeinterpreter-api★ 3.8k
一个基于LangChain实现的ChatGPT代码解释器,使用CodeBoxes作为沙盒Python代码执行的后端。
VS对比→
supabase-mcp-server logo
supabase-mcp-server★ 834
Query MCP 是一个开源的 MCP 服务器,允许您的 IDE 安全地运行 SQL、管理 schema 更改、调用 Supabase 管理 API 并使用 Auth Admin SDK,所有操作都内置了安全控制。
VS对比→
AgileRL logo
AgileRL★ 960
AgileRL 是一个深度强化学习库,通过引入 RLOps 来简化和加速强化学习开发。
VS对比→
llama-cpp-agent logo
llama-cpp-agent★ 661
专为 llama.cpp 模型设计的 LLM 交互框架,支持结构化函数调用和结构化输出。
VS对比→
查看全部替代品 →

评论

登录后发表评论

暂无评论,来发表第一条吧

本页内容
01功能特性02为什么选择它03权衡点04维护状况检查05兼容性06快速开始07使用场景08同类工具
jeinlee1991 /
chinese-llm-benchmark
↗

ReLE:覆盖 337 个模型、7 个领域的中文大模型实时评测榜

6.5k262
最后更新1天前
状态活跃
分类大模型基础设施
贡献者2
最新发布v5.10
链接
文档↗讨论↗问题↗版本↗
推荐云部署
Ad

在 DigitalOcean 上一键部署

为你的 MCP 服务、Docker 容器与智能体提供即开即用云服务器,新用户立享 $200 免费额度(60天有效)。

立即领取 $200 免费额度
© 2026 AgentIndex.app|由十年 iOS 开发者构建。
按场景挑选关于我们联系我们广告合作隐私政策使用条款QYSGitHub请作者喝咖啡 ☕

按分类浏览

MCP 服务器代码助手工作流自动化RAG / 知识库多智能体浏览器自动化大模型基础设施开发者工具可观测性

与 Anthropic, OpenAI 或 Microsoft 无关。