An Awesome Collection for LLM in Chinese

收集和梳理中文LLM相关

自ChatGPT为代表的大语言模型（Large Language Model, LLM）出现以后，由于其惊人的类通用人工智能（AGI）的能力，掀起了新一轮自然语言处理领域的研究和应用的浪潮。尤其是以ChatGLM、LLaMA等平民玩家都能跑起来的较小规模的LLM开源之后，业界涌现了非常多基于LLM的二次微调或应用的案例。本项目旨在收集和梳理中文LLM相关的开源模型、应用、数据集及教程等资料，目前收录的资源已达100+个！

如果本项目能给您带来一点点帮助，麻烦点个⭐️吧～

同时也欢迎大家贡献本项目未收录的开源模型、应用、数据集等。提供新的仓库信息请发起PR，并按照本项目的格式提供仓库链接、star数，简介等相关信息，感谢~

常见底座模型细节概览：

底座	包含模型	模型参数大小	训练token数	训练最大长度	是否可商用
ChatGLM	ChatGLM/2/3/4 Base&Chat	6B	1T/1.4	2K/32K	可商用
LLaMA	LLaMA/2/3 Base&Chat	7B/8B/13B/33B/70B	1T/2T	2k/4k	部分可商用
Baichuan	Baichuan/2 Base&Chat	7B/13B	1.2T/1.4T	4k	可商用
Qwen	Qwen/1.5/2/2.5 Base&Chat&VL	7B/14B/32B/72B/110B	2.2T/3T/18T	8k/32k	可商用
BLOOM	BLOOM	1B/7B/176B-MT	1.5T	2k	可商用
Aquila	Aquila/2 Base/Chat	7B/34B	-	2k	可商用
InternLM	InternLM/2/2.5 Base/Chat/VL	7B/20B	-	200k	可商用
Mixtral	Base&Chat	8x7B	-	32k	可商用
Yi	Base&Chat	6B/9B/34B	3T	200k	可商用
DeepSeek	Base&Chat	1.3B/7B/33B/67B	-	4k	可商用
XVERSE	Base&Chat	7B/13B/65B/A4.2B	2.6T/3.2T	8k/16k/256k	可商用
MiniMax	MiniMax-Text-01/VL-01	456B(45.9B activated)	-	1M/4M	可商用

目录

• 目录
  • 1. 模型
    • 1.1 文本LLM模型
    • 1.2 多模态LLM模型
  • 2. 应用
    • 2.1 垂直领域微调
      • 医疗
      • 法律
      • 金融
      • 教育
      • 科技
      • 电商
      • 网络安全
      • 农业
    • 2.2 LangChain应用
    • 2.3 其他应用
  • 3. 数据集
    • 预训练数据集
    • SFT数据集
    • 偏好数据集
  • 4. LLM训练微调框架
  • 5. LLM推理部署框架
  • 6. LLM评测
  • 7. LLM教程
    • LLM基础知识
    • 提示工程教程
    • LLM应用教程
    • LLM实战教程
  • 8. 相关仓库
• Star History

1. 模型

1.1 文本LLM模型

• ChatGLM：

  • 地址：https://github.com/THUDM/ChatGLM-6B

  • 简介：中文领域效果最好的开源底座模型之一，针对中文问答和对话进行了优化。经过约 1T 标识符的中英双语训练，辅以监督微调、反馈自助、人类反馈强化学习等技术的加持

• ChatGLM2-6B

  • 地址：https://github.com/THUDM/ChatGLM2-6B

  • 简介：基于开源中英双语对话模型 ChatGLM-6B 的第二代版本，在保留了初代模型对话流畅、部署门槛较低等众多优秀特性的基础之上，引入了GLM 的混合目标函数，经过了 1.4T 中英标识符的预训练与人类偏好对齐训练；基座模型的上下文长度扩展到了 32K，并在对话阶段使用 8K 的上下文长度训练；基于 Multi-Query Attention 技术实现更高效的推理速度和更低的显存占用；允许商业使用。

• ChatGLM3-6B

  • 地址：https://github.com/THUDM/ChatGLM3

  • 简介：ChatGLM3-6B 是 ChatGLM3 系列中的开