大规模预训练语言模型相关热点方向资源整理

计算的力量： 很多证据表明，机器学习的进步很大程度上是由计算驱动的，而不是研究，请参考："The Bitter Lesson"，而且往往会出现Emergence和Homogenization现象。 有研究表明，人工智能计算使用量大约每3.4个月翻一番，而效率提升每16个月才翻一番。其中计算使用量主要由计算力驱动，而效率则由研究驱动。 这意味着计算增长在历史上主导了机器学习和其子领域的进步。 GPT-4的出现更加证明了这一点。 尽管如此，未来是否有更颠覆Transformer的架构仍需要我们重视，比如说S4。 目前的NLP研究热点大部分基于更先进的LLM （~100B, $10^{23}$ FLOPs）。尤其是ChatGPT通过Alignment技术利用少于预训练几十倍的计算（4.9+60 petaflops/s-days vs 3640 petaflops/s-days）和人类反馈（500k美元, 20k小时，13+33+31k数据，相比于GPT-3的12000k美元 ）释放了GPT大模型对话能力并火出圈。所以本库对大规模预训练语言模型LLM相关文章进行追踪和归类，更能让我们把握前沿，看清方向。当然除了【大算力技术基础】，还有其他方面：【大模型技术突破】、【大数据质量提升】、【开放的创新生态环境】、【紧密的团队协作】、【强大的工程能力】等等

关于LLM更多topics的论文请参考这里和这里。

---

论文 (粗糙类别)

• 模型训练、测试和优化
• 应用与LLM+
• 原理分析
• 技术改进
• Survey和数据集

资源

• LLM课程
• 重要的图
• LLM Demo
• 重要的博客与自选文章
• 训练，推理，应用工具 (未整理)

---

大模型训练和优化

【对GPT-4的测试，limitation】Sparks of Artificial General Intelligence: Early experiments with GPT-4

• Model Card
• Video

【InstructGPT论文，包括sft,ppo等，最重要的文章之一】Training language models to follow instructions with human feedback

【scalable oversight: 人类在模型超过自己的任务后怎么持续的提升模型？】Measuring Progress on Scalable Oversight for Large Language Models

• Self-critiquing models for assisting human evaluators
• 定义：以标签、奖励信号或批评的形式向模型提供可靠监督的能力，这种监督在模型开始达到广泛的人类水平表现之后仍将保持有效。
• Scalable oversight技术可以提升模型的容量和对齐（即以人类期待的方式进行应用和实现目标）。
• 如果我们能找到在现有模型（水平在非专家之上，专家之下）的基础上，找到一个监督学习的范式，能够提升模型答案的正确性，那我们不再依赖专家就能获得一个超越专家的系统。
• 另一个角度想法是通过使用多种提示和策略来提示模型，并仅接受模型在一致且合理的证据的基础上一致给出的答案。但这个角度的技术可能扩展性不足。 当然，任何能够以高可靠性解决此类挑战的技术都可能代表可扩展监督方面的重要进展。
• 现有解决方案：让现有模型辅助人类获取知识来让人类产出高质量的监督，考虑到AlaphZero的成功，自我博弈也很有前景。

【Alignment的定义，deepmind出品】Alignment of Language Agents

A General Language Assistant as a Laboratory for Alignment

【RETRO论文，利用CCA+检索的模型】Improving language models by retrieving from trillions of tokens

Fine-Tuning Language Models from Human Preferences

Training a Helpful and Harmless Assistant with Reinforcement Learning from Human Feedback

【中英文的大模型，超过GPT-3】GLM-130B: An Open Bilingual Pre-trained Model

【预训练目标优化】UL2: Unifying Language Learning Paradigms

【Alignment新的基准，模型库和新方法】Is Reinforcement Learning (Not) for Natural Language Processing?: Benchmarks, Baselines, and Building Blocks for Natural Language Policy Optimization

【通过技术不使用[MASK]标记进行MLM】Representation Deficiency in Masked Language Modeling

【文字转为图像训练，缓解了Vocabulary的需要并抗某些攻击】Language Modelling with Pixels

LexMAE: Lexicon-Bottlenecked Pretraining for Large-Scale Retrieval

InCoder: A Generative Model for Code Infilling and Synthesis

【检索Text相关图像进行语言模型预训练】Visually-Augmented Language Modeling

A Non-monotonic Self-terminating Language Model

【通过prompt设计进行负面反馈比较微调】Chain of Hindsight Aligns Language Models with Feedback

• 相关文章：The Wisdom of Hindsight Makes Language Models Better Instruction Followers

【Sparrow模型】Improving alignment of dialogue agents via targeted human judgements

【用小模型参数加速大模型训练过程（不从头）】Learning to Grow Pretrained Models for Efficient Transformer Training

【多种知识源MoE半参数知识融合模型】Knowledge-in-Context: Towards Knowledgeable Semi-Parametric Language Models

【不同数据集上的多个已训练模型合并方法】Dataless Knowledge Fusion by Merging Weights of Language Models

【很有启发，检索机制代替 Transformer 中的 FFN 的通用架构(×2.54 time)，以便解耦存储在模型参数中的知识】Language model with Plug-in Knowldge Memory

【自动生成Instruction tuning的数据用于GPT-3的训练】Self-Instruct: Aligning Language Model with Self Generated Instructions

• 【和yizhong wang那篇类似自动生成Instru