{"data":{"slug":"jeinlee1991-chinese-llm-benchmark","name":"chinese-llm-benchmark","tagline":"ReLE评测：中文AI大模型能力评测","github_url":"https://github.com/jeinlee1991/chinese-llm-benchmark","owner":"jeinlee1991","repo":"chinese-llm-benchmark","owner_avatar_url":"https://avatars.githubusercontent.com/u/46815718?v=4","primary_language":null,"stars":6265,"forks":256,"topics":["agentic-ai","artificial-intelligence","llm-agent","llm-evaluation"],"archived":false,"github_pushed_at":"2026-07-09T02:42:12+00:00","maintenance_label":"Very active","url":"https://www.graphcanon.com/tools/jeinlee1991-chinese-llm-benchmark","markdown_url":"https://www.graphcanon.com/tools/jeinlee1991-chinese-llm-benchmark.md","api_url":"https://www.graphcanon.com/api/graphcanon/tools/jeinlee1991-chinese-llm-benchmark","graph_url":"https://www.graphcanon.com/api/graphcanon/graph?tool=jeinlee1991-chinese-llm-benchmark","description":"非线智能 NoneLinear - ReLE评测：中文AI大模型能力评测（持续更新）：目前已囊括374个大模型，覆盖chatgpt、gpt-5.4、谷歌gemini-3.1-pro、Claude-4.6、文心ERNIE-X1.1、ERNIE-5.0、qwen3.6-max、qwen3.6-plus、百川、讯飞星火、商汤senseChat等商用模型， 以及step3.5-flash、kimi-k2.6、ernie4.5、MiniMax-M2.7、deepseek-v4、Qwen3.6、llama4、智谱GLM-5.1、MiMo-V2、LongCat、gemma4、mistral等开源大模型。不仅提供排行榜，也提供规模超200万的大模型缺陷库！方便广大社区研究分析、改进大模型。","homepage_url":"https://nonelinear.com","license":null,"open_issues":16,"watchers":70,"ai_summary":"提供多维度的中文AI大模型评估，涵盖各类商用和开源的大规模语言模型，并提供详细的排行榜与超过200万条缺陷数据。","readme_excerpt":"# 非线智能 NoneLinear - ReLE评测：中文AI大模型能力评测（持续更新）\n- ReLE （**R**eally R**e**liable **L**ive **E**valuation for LLM），原名CLiB\n- 目前已囊括391个大模型，覆盖chatgpt、gpt-5.5、谷歌gemini-3.1-pro、Claude-5、文心ERNIE-X1.1、ERNIE-5.1、qwen3.7-max、qwen3.7-plus、百川、讯飞星火、商汤senseChat等商用模型，\n以及hy3、step3.7-flash、kimi-k2.7、ernie4.5、MiniMax-M3、deepseek-v4、Qwen3.6、llama4、智谱GLM-5.2、MiMo-V2、LongCat、gemma4、mistral等开源大模型。\n- 支持多维度能力评测，包括教育、医疗与心理健康、金融、法律与行政公务、推理与数学计算、语言与指令遵从、agent与工具调用等7个领域，以及细分的~300个维度（比如牙科、高中语文…）。详见我们的技术报告[ReLE: A Scalable System and Structured Benchmark for Diagnosing Capability Anisotropy in Chinese LLMs](https://www.arxiv.org/abs/2601.17399) 媒体报道(机器之心):[全球304个中文大模型实测：没有“全能王者”，ReLE凭70%降本方案破解评估困局](https://www.jiqizhixin.com/articles/2026-02-03)\n- 不仅提供排行榜，也提供规模**超200万的大模型缺陷库**！方便广大社区研究分析、改进大模型。\n- 为您的私有大模型提供免费评测服务，联系我们(非线智能 ReLE benchmark团队)：[加微信](#联系我们非线智能-ReLE-benchmark团队)\n\n\n# 目录\n- [🔄最近更新](#最近更新)\n- [⚓GitHub热门大模型评测项目](#GitHub热门大模型评测项目)\n- [📝大模型基本信息](#大模型基本信息)\n- [📊排行榜](#-排行榜)\n  - [0、多模态排行榜](#0多模态排行榜)\n  - [1、综合能力排行榜](#1综合能力排行榜)\n    - [1.1 推理类模型排行榜](#11推理类模型排行榜)\n    - [1.2 商用大模型排行榜（含开源模型的付费API）](#12商用大模型排行榜含开源模型的付费API)\n    - [1.3 开源大模型排行榜](#13开源大模型排行榜)\n  - [2、教育排行榜](#2教育排行榜)\n    - [2.1 小学学科](#21-小学学科)  |  [2.2 初中学科](#22-初中学科)  |  [2.3 中考TODO](#23-中考TODO)\n    - [2.4 高中学科](#24-高中学科)  |  [2.5 高考](#25-高考)  |  [2.6 高等教育TODO](#26-高等教育TODO)\n    - [2.7 考研TODO](#27-考研TODO)  |  [2.8 教师资格TODO](#28-教师资格TODO)\n  - [3、医疗与心理健康排行榜](#3医疗与心理健康排行榜)    \n    - [3.1 医师](#31-医师)  |  [3.2 护理](#32-护理)  |  [3.3 药师](#33-药师)\n    - [3.4 医技](#34-医技)  |  [3.5 医学基础知识](#35-医学基础知识)  |  [3.6 医学考研](#36-医学考研)\n    - [3.7 心理健康](#37-心理健康)\n  - [4、金融排行榜](#4金融排行榜)\n    - [4.1 财务](#41-财务)  |  [4.2 银行](#42-银行)  |  [4.3 保险](#43-保险)\n    - [4.4 证券](#44-证券)  |  [4.5 其他金融资格考试](#45-其他金融资格考试)  |  [4.6 金融基础知识](#46-金融基础知识)\n    - [4.7 金融应用](#47-金融应用)\n  - [5、法律与行政公务排行榜](#5法律与行政公务排行榜)\n    - [5.1 律师资格考试](#51-律师资格考试)\n    - [5.2 公务员考试](#52-公务员考试)\n  - [6、推理与数学计算排行榜](#6推理与数学计算排行榜)\n    - [6.1 演绎推理](#61-演绎推理)   |  [6.2 常识推理](#62-常识推理)  |  [6.3 符号推理BBH](#63-符号推理BBH)\n    - [6.4 算术能力](#64-算术能力)  |  [6.5 表格问答](#65-表格问答)  |  [6.6 表格总结](#66-表格总结)\n    - [6.7 高中奥数](#67-高中奥数)  |  [6.8 初中奥数TODO](#68-初中奥数TODO)  |  [6.9 小学奥数](#69-小学奥数)\n    - [6.10 地图推理TODO](#610-地图推理TODO)  |  [6.11 空间推理TODO](#611-空间推理TODO)  |  [6.12 数独](#612-数独)\n    - [6.13 金额大小写转换TODO](#613-金额大小写转换TODO)  |  [6.14 日期计算TODO](#614-日期计算TODO)\n  - [7、语言与指令遵从排行榜](#7语言与指令遵从排行榜)\n    - [7.1 成语理解](#71-成语理解)  |  [7.2 情感分析](#72-情感分析)  |  [7.3 文本蕴含](#73-文本蕴含) \n    - [7.4 文本分类](#74-文本分类)  |  [7.5 信息抽取](#75-信息抽取)  |  [7.6 阅读理解](#76-阅读理解) \n    - [7.7 代词理解](#77-代词理解)  |  [7.8 诗词匹配](#78-诗词匹配)  |  [7.9 中文指令遵从](#79-中文指令遵从) \n    - [7.10 汉字字形](#710-汉字字形)  |  [7.11 汉语拼音TODO](#711-汉语拼音TODO)  |  [7.12 找错别字TODO](#712-找错别字TODO) \n    - [7.13 句子理解TODO](#713-句子理解TODO)  |  [7.14 标点符号TODO](#714-标点符号TODO)  |  [7.15 汉字繁简转换TODO](#715-汉字繁简转换TODO) \n    - [7.16 语种识别TODO](#716-语种识别TODO)\n  - [8、agent与工具调用排行榜](#8agent与工具调用排行榜)\n    - [8.1 TAU](#81-TAU)\n    - [8.2 BFCL-V3](#82-BFCL-V3)\n  - [9、coding排行榜](#9coding排行榜)\n    - [9.1 livecodebench](#91-livecodebench)\n    - [9.2 Terminal-Bench-2.0](#92-Terminal-Bench-20)  \n  - [10、整合LMArena和AA分数](#10整合LMArena和AA分数)    \n- [🌐各项能力评分](#🌐各项能力评分)\n- [为什么做榜单？](#为什么做榜单)\n- [大模型选型及评测交流群](#大模型评测交流群)\n- [Cite Us](#如何引用-ReLE-评测Cite-Us)\n\n# 最近评测更新\n- [2026/7/9] v5.10.13版本\n  - 新增大模型：hy3\n- [2026/7/2] v5.10.12版本\n  - 新增大模型：claude-sonnet-5-thinking\n- [2026/6/27] v5.10.12版本\n  - 新增大模型：doubao-seed-2-1-pro-260628、doubao-seed-2-1-turbo-260628、doubao-seed-evolving\n- [2026/6/18] v5.10.11版本\n  - 新增大模型：glm-5.2\n- [2026/6/16] v5.10.10版本\n  - 新增大模型：kimi-k2.7-code\n- [2026/6/2] v5.10.9版本\n  - 新增大模型：MiniMax-M3、qwen3.7-plus、step-3.7-flash、claude-opus-4.8-thinking\n- [2026/5/30] v5.10.8版本\n  - 新增大模型","github_created_at":"2023-06-04T07:23:20+00:00","created_at":"2026-07-11T10:33:47.96266+00:00","updated_at":"2026-07-11T22:57:05.333469+00:00","categories":[{"slug":"evaluation-observability","name":"Evaluation & Observability","url":"https://www.graphcanon.com/categories/evaluation-observability","markdown_url":"https://www.graphcanon.com/categories/evaluation-observability.md","api_url":"https://www.graphcanon.com/api/graphcanon/categories/evaluation-observability"}],"tags":[{"slug":"artificial-intelligence","name":"artificial-intelligence"},{"slug":"llm-agent","name":"llm-agent"},{"slug":"agentic-ai","name":"agentic-ai"},{"slug":"llm-evaluation","name":"llm-evaluation"}],"trust":{"provenance":{"is_fork":false,"github_id":649224670,"owner_type":"User","methodology":"github_public_v1","parent_repo":null,"near_duplicate_slugs":[]},"computed_at":"2026-07-11T10:33:48.731Z","maintenance":{"label":"Very active","score":96,"methodology":"github_public_v1","releases_90d":3,"days_since_push":2,"last_release_at":"2026-04-21T16:09:13Z"},"security_summary":{"status":"no_lockfile","scanner":null,"low_count":0,"high_count":0,"last_scan_at":"2026-07-11T10:33:49.608Z","medium_count":0,"scan_profile":"none","critical_count":0}},"capability_facts":{"scan":{"source":"repo_scan","observed_at":"2026-07-11T22:56:40.510Z"}},"decision_facts":{"hosting":null,"pricing":null,"requirements":null,"constraints":null,"when_to_use":["当需要对多种中文字句生成、理解能力进行综合评价时使用；","适用于希望了解自己使用的商用或开源大模型在特定领域（如教育、法律等）表现的人群。","如果您想要深入分析和改进中文大规模语言模型的缺陷，同时利用详细的排行榜来指导优化策略。"],"when_not_to_use":["当评估对象仅限于英文或其他非中文的语言模型时不应使用此工具；","如果您的主要关注点是多语种支持或模型在特定国际化场景中的性能表现。","如果您需要的是一款侧重于通用语言处理任务而非特定领域知识和应用领域的评测工具。"],"source":"enrich:decision_facts","observed_at":"2026-07-11T22:57:05.111Z"},"constraint_facets":null,"decision_summary":[{"label":"Adopt for","value":"chinese-llm-benchmark (ReLE评测) 是一个专门用于评估中文大规模语言模型的工具，它可以全面评测涵盖商用和开源的大规模语言模型，并提供详细排行榜及超过200万条缺陷数据。它的主要特点是多维度评估能力和丰富的领域覆盖范围。"}]}}