chinese-llm-benchmark
活跃·★ 6.5k·更新于 2026-10-27
★ 必备神器★ 时下流行
ReLE(Really Reliable Live Evaluation for LLM,原名 CLiB)是持续更新的中文大模型评测。按 README 所说,它覆盖 337 个模型,既有商用模型(ChatGPT、GPT-5.2、o4-mini、Gemini 3 Pro、Claude 4.5、文心、Qwen3-Max、百川、讯飞星火、商汤日日新),也有开源模型(Kimi K2、DeepSeek V3.2、MiniMax M2.1、GLM-4.7、Llama 4、Gemma 3、Mistral)。
它评测七个领域和约 300 个细分维度:教育、医疗与心理健康、金融、法律与行政公务、推理与数学计算、语言与指令遵从,以及智能体与工具调用。排行榜包括多模态、综合(另有推理类、商用和开源三个子榜)、细化到具体学科和考试的教育榜、医师等医疗资格榜、金融资格榜、法律和公务员考试榜以及推理子任务榜。除排名外,它还公开了规模超过两百万条的大模型缺陷库供社区分析,并为私有模型提供免费评测。README 为中文,仓库没有声明许可证。
#大模型评测#中文大模型#AI基准测试#模型排名#缺陷分析
01
功能特性
01广泛覆盖337+个商用及开源中文大模型。
02支持教育、医疗等7大领域及约300个细分维度的多维度能力评测。
03提供全面细致的各类能力排行榜。
04拥有超200万的大模型缺陷库,便于研究分析和改进大模型。
05为私有大模型提供免费评测服务和定制化选型支持。
02
为什么选择它
+模型覆盖面大(337 个),包括商用和开源、国内和国外的模型。
+按领域给出榜单(按学科的教育、医疗资格、金融资格、法律和公务员考试),而不是单一的总分。
+公开了超过 200 万条失败案例的缺陷库,供他人研究。
+持续更新,并为推理类、商用和开源模型分别设榜。
03
权衡点
!榜单是维护者用自己的测试集和评判方式做出的评测,应当视为一种参考,而不是权威结论。
!README 是一个很长的中文表格页面,其中有若干部分标注了 TODO。
!GitHub 上没有显示许可证,数据和表格能否复用并不明确。
04
维护状况检查
活跃检查日期: 2026-10-24
- 最近提交
- 2026-10-21
- 近 90 天提交数
- 29
- 近 90 天发布数
- 0
- 最新发布
- v5.10 (2026-04-21)
- 未关闭 issue
- 19
- 近期 issue 至少有一条评论的比例
- 17/30
近 12 周每周提交数
最早的一周在左边,最近 4 周为橙色。数据来源:GitHub 提交统计。
状态规则:GitHub 上已归档 = 已归档;最近提交在 90 天内 = 活跃;91 到 365 天 = 放缓;更久 = 停滞。所有数字来自所示日期的 GitHub API。
讨论最多的未关闭 issue
- #14 评测数据太少了吧,这能说明问题?2 条评论 · 2023-09-14
- #66 有计划增加文生图模型的对比吗?虽然感觉比较主观1 条评论 · 2025-05-05
- #61 【请求】增加软件开发、编程能力的综合评测。1 条评论 · 2025-02-26
- #86 要不把你们的微信客服开了吧,根本就不回复消息,什么服务态度??0 条评论 · 2026-09-21
- #84 请求添加新模型:Qwen3.7-Flash0 条评论 · 2026-08-10
issue 标题引自 GitHub。请打开链接确认该问题是否仍适用于你使用的版本。
05
兼容性
OpenAI (GPT series)
支持
已通过文档验证
Google (Gemini series)
支持
已通过文档验证
Anthropic (Claude series)
支持
已通过文档验证
Baidu (ERNIE series)
支持
已通过文档验证
Alibaba (Qwen series)
支持
已通过文档验证
DeepSeek
支持
已通过文档验证
06
快速开始
1
$ git clone https://github.com/jeinlee1991/chinese-llm-benchmark.git
07
使用场景
↳对比和选择特定应用场景下表现最佳的大模型。
↳发现并改进大语言模型的能力缺陷。
↳对私有或定制化大模型进行基准测试,以优化性能和成本。
08
同类工具
评论
登录后发表评论
暂无评论,来发表第一条吧