大语言模型

作者：赵鑫，李军毅，周昆，唐天一，文继荣

关于本书

为了更好地普及和传播大模型技术的最新进展与技术体系，我们于2023年3月发表了大语言模型英文综述文章《A Survey of Large Language Models》，并不断进行更新完善，目前已经更新至第14个版本，95页正文1064个参考文献。自英文综述文章上线后，陆续有读者询问该英文综述文章是否有对应的中文版本。为此，我们于2023年8月发布了该综述（v10）的中文翻译版。2023年12月底，为了更好地提供大模型技术的中文参考资料，我们启动了中文书的编写工作，并且于2024年4月完成初稿，经过历时5个月的后续修正与完善，这本书终于出版了。

与英文综述文章的定位不同，本书更关注为大模型初学者提供整体的技术讲解，为此我们在内容上进行了大范围的更新与重组，力图展现一个系统的大模型技术框架和路线图。本书适用于具有深度学习基础的读者阅读，可以作为一本基础的大模型参考书籍。在准备中文书的过程中，我们广泛阅读了现有的经典论文、相关代码和学术教材，从中提炼出核心概念、算法与模型，并进行了系统性的组织与讲解。我们对于每个章节的内容初稿都进行了多次修正，力求表达的清晰性与准确性。然而在图书编写过程中，我们深感自身能力与知识的局限性，尽管已经付出了巨大的努力，但仍难免会有遗漏或不足之处。本书的出版仅是一个起点，我们将编写此书的过程也作为一个自身的学习过程，希望能够通过本书与读者进行深入交流，向更多的行业同行学习，欢迎大家为这本书提出宝贵的指导建议。

推荐语

课程资源

为了帮助课程教学及传播大模型知识，《大语言模型》编写团队特别提供了相应的PDF课件：

课程	目录
第一课 初识大模型（对应本书第一、二章）	语言模型发展历程、大模型技术基础、GPT和DeepSeek模型介绍
第二课 模型架构（对应本书第五章）	Transformer模型介绍、模型详细配置、长上下文模型和新型架构
第三课 预训练（对应本书第四、六章）	预训练之数据工程、预训练之具体流程、训练优化、[模型参数量与训练效率估