--- title: "Baichuan2" type: "tool" slug: "baichuan-inc-baichuan2" canonical_url: "https://www.graphcanon.com/tools/baichuan-inc-baichuan2" github_url: "https://github.com/baichuan-inc/Baichuan2" homepage_url: "https://huggingface.co/baichuan-inc" stars: 4093 forks: 294 primary_language: "Python" license: "Apache-2.0" categories: ["llm-frameworks"] tags: ["chinese", "artificial-intelligence", "benchmark", "large-language-models", "chatgpt", "gpt", "huggingface", "ceval"] updated_at: "2026-07-07T18:41:52.070177+00:00" --- # Baichuan2 > A series of large language models developed by Baichuan Intelligent Technology. Baichuan2 is a large-scale, open-source language model with versions available in sizes 7B and 13B, both base and chat variants. It has been trained on high-quality corpora totaling 2.6 trillion tokens, surpassing benchmarks in Chinese, English, and multilingual domains. ## Facts - Repository: https://github.com/baichuan-inc/Baichuan2 - Homepage: https://huggingface.co/baichuan-inc - Stars: 4,093 · Forks: 294 · Open issues: 283 · Watchers: 39 - Primary language: Python - License: Apache-2.0 - Last pushed: 2024-11-08T08:31:29+00:00 ## Categories - [LLM Frameworks](/categories/llm-frameworks.md) ## Tags chinese, artificial-intelligence, benchmark, large-language-models, chatgpt, gpt, huggingface, ceval ## Related tools - [ollama](/tools/ollama-ollama.md) - Get up and running with Kimi-K2.6, GLM-5.1, MiniMax, DeepSeek, gpt-oss, Qwen, Gemma and other models. (★ 175,659) - [prompts.chat](/tools/f-prompts-chat.md) - The world's largest open-source prompt library for AI (★ 165,019) - [transformers](/tools/huggingface-transformers.md) - 🤗 Transformers: the model-definition framework for state-of-the-art machine learning models (★ 162,347) - [open-webui](/tools/open-webui-open-webui.md) - User-friendly AI Interface (Supports Ollama, OpenAI API, ...) (★ 144,575) - [awesome-llm-apps](/tools/shubhamsaboo-awesome-llm-apps.md) - 100+ AI Agent & RAG apps you can actually run — clone, customize, ship. (★ 116,702) - [LLMs-from-scratch](/tools/rasbt-llms-from-scratch.md) - Implement a ChatGPT-like LLM in PyTorch from scratch (★ 98,711) - [TradingAgents](/tools/tauricresearch-tradingagents.md) - TradingAgents: Multi-Agents LLM Financial Trading Framework (★ 91,610) - [caveman](/tools/juliusbrussee-caveman.md) - Cuts 65% of tokens in AI coding agent responses. (★ 86,150) ## README (excerpt) ```text

Baichuan 2

🤗 Hugging Face • 🤖 ModelScope • 💬 WeChat• 🧩 Modelers

🚀 百小应APP已正式上线！懂搜索、会提问的AI助手，各大应用商店搜索百小应下载，欢迎下载体验 🎉

中文 | English

# 目录 - [📖 模型介绍](#模型介绍) - [📊 Benchmark 结果 🥇🥇🔥🔥](#Benchmark-结果) - [⚙️ 推理和部署](#推理和部署) - [🛠️ 模型微调](#模型微调) - [💾 中间 Checkpoints 🔥🔥](#中间-Checkpoints) - [👥 社区与生态](#社区与生态) - [📜 声明、协议、引用](#声明协议引用) # 更新 [2023.12.29] 🎉🎉🎉 我们发布了 **[Baichuan2-13B-Chat v2](https://huggingface.co/baichuan-inc/Baichuan2-13B-Chat/tree/v2.0)** 版本。其中： - 大幅提升了模型的综合能力，特别是数学和逻辑推理、复杂指令跟随能力。 # 模型介绍 - Baichuan 2 是百川智能推出的**新一代开源大语言模型**，采用 **2.6 万亿** Tokens 的高质量语料训练。 - Baichuan 2 在多个权威的中文、英文和多语言的通用、领域 benchmark 上取得同尺寸**最佳**的效果。 - 本次发布包含有 **7B**、**13B** 的 **Base** 和 **Chat** 版本，并提供了 Chat 版本的 **4bits 量化**。 - 所有版本对学术研究完全开放。同时，开发者通过邮件申请并获得官方商用许可后，即可**免费商用**，请参考[协议](#协议)章节。 - 欢迎阅读我们的技术报告 [Baichuan 2: Open Large-scale Language Models](https://arxiv.org/abs/2309.10305) 获取更多信息。 本次发布版本和下载链接见下表： | | 基座模型 | 对齐模型 | 对齐模型 4bits 量化 | |:-------:|:-------:|:-------:|:-----------------:| | 7B | 🤗 [Baichuan2-7B-Base](https://huggingface.co/baichuan-inc/Baichuan2-7B-Base) | 🤗 [Baichuan2-7B-Chat](https://huggingface.co/baichuan-inc/Baichuan2-7B-Chat) | 🤗 [Baichuan2-7B-Chat-4bits](https://huggingface.co/baichuan-inc/Baichuan2-7B-Chat-4bits) | | 13B | 🤗 [Baichuan2-13B-Base](https://huggingface.co/baichuan-inc/Baichuan2-13B-Base) | 🤗 [Baichuan2-13B-Chat](https://huggingface.co/baichuan-inc/Baichuan2-13B-Chat) | 🤗 [Baichuan2-13B-Chat-4bits](https://huggingface.co/baichuan-inc/Baichuan2-13B-Chat-4bits) | # Benchmark 结果 我们在[通用](#通用领域)、[法律](#法律医疗)、[医疗](#法律医疗)、[数学](#数学代码)、[代码](#数学代码)和[多语言翻译](#多语言翻译)六个领域的中英文和多语言权威数据集上对模型进行了广泛测试。 ## 通用领域 在通用领域我们在以下数据集上进行了 5-shot 测试。 - [C-Eval](https://cevalbenchmark.com/index.html#home) 是一个全面的中文基础模型评测数据集，涵盖了 52 个学科和四个难度的级别。我们使用该数据集的 dev 集作为 few-shot 的来源，在 test 集上进行测试。我们采用了 [Baichuan-7B](https://github.com/baichuan-inc/Baichuan-7B/tree/main) 的评测方案。 - [MMLU](https://arxiv.org/abs/2009.03300) 是包含 57 个任务的英文评测数据集，涵盖了初等数学、美国历史、计算机科学、法律等，难度覆盖高中水平到专家水平，是目前主流的 LLM 评测数据集。我们采用了[开源](https://github.com/hendrycks/test)的评测方案。 - [CMMLU](https://github.com/haonan-li/CMMLU) 是一个包含 67 个主题的综合性性中文评估基准，专门用于评估语言模型在中文语境下的知识和推理能力。我们采用了其[官方](https://github.com/haonan-li/CMMLU)的评测方案。 - [Gaokao](https://github.com/OpenLMLab/GAOKAO-Bench) 是一个以中国高考题作为评测大语言模型能力的数据集，用以评估模型的语言能力和逻辑推理能力。 我们只保留了其中的单项选择题，并进行了随机划分。我们采用了与 C-Eval 类似的评测方案。 - [AGIEval](https://github.com/microsoft/AGIEval) 旨在评估模型的认知和解决问题相关的任务中的一般能力。 我们只保留了其中的四选一单项选择题，并进行了随机划分。我们采用了与 C-Eval 类似的评测方案。 - [BBH](https://huggingface.co/datasets/lukaemon/bbh) 是一个挑战性任务 Big-Bench 的子集。Big-Bench 目前包括 204 项任务。任务主题涉及语言学、儿童发展、数学、常识推理、生物学、物理学、社会偏见、软件开发等方面。BBH 是从 204 项 Big-Bench 评测基准任务中大模型表现不好的任务单独拿出来形成的评测基准。 ### 7B 模型结果 | | **C-Eval** | **MMLU** | **CMMLU** | **Gaokao** | **AGIEval** | **BBH** | |:---------------------:|:----------:|:--------:|:---------:|:----------:|:-----------:|:-------:| | | 5-shot | 5-shot | 5-shot | 5-shot | 5-shot | 3-shot | | **GPT-4** | 68.40 | 83.93 | 70.33 | 66.15 | 63.27 | 75.12 | | **GPT-3.5 Turbo** | 51.10 | 68.54 | 54.06 | 47.07 | 46.13 | 61.59 | | **LLaMA-7B** | 27.10 | 35.10 | 26.75 | 27.81 ``` --- **Machine-readable endpoints** - JSON: [`/api/graphcanon/tools/baichuan-inc-baichuan2`](/api/graphcanon/tools/baichuan-inc-baichuan2) - LLM index: [/llms.txt](/llms.txt) - Full corpus: [/llms-full.txt](/llms-full.txt) _GraphCanon - The knowledge graph for AI development. https://www.graphcanon.com/_