LLM-RL-Visualized

  

---

简 介

🎉 原创 100+ 架构图，系统讲解大模型、强化学习，涵盖：LLM / VLM 等大模型原理、训练算法（RL、RLHF、GRPO、DPO、SFT 与 CoT 蒸馏等）、效果优化与 RAG 等。

🎉 关于架构图更详细的解读可参考：《大模型算法：强化学习、微调与对齐》 (豆瓣高分，多次京东AI图书Top 5 ！)

🎉 本仓库长期勘误、追加，欢迎点击仓库顶部的 Star ⭐ 关注，感谢鼓励✨

🎉 单击图片可看高清大图，或浏览仓库目录中的 .svg 格式矢量图（活图，可无限缩放、可选择文字）

---

目 录

第1部分：大模型、强化学习的技术全景图

• 大模型算法总体架构（以LLM、VLM为主）
• 强化学习算法图谱 (rl‑algo‑map).pdf——全网最大！
• LLM结构总图——全网最大！
• 策略梯度(Policy Gradient)-强化学习(PPO&GRPO等)之根基.pdf

第2部分：大模型基础

• LLM（Large Language Model）结构
• LLM生成与解码（Decoding）过程
• LLM输入层
• LLM输出层
• 多模态模型结构（VLM、MLLM …）
• LLM训练流程

第3部分：SFT（有监督微调）

• 微调（Fine‑Tuning）技术分类
• LoRA（1 of 2）
• LoRA（2 of 2）
• Prefix‑Tuning
• TokenID与词元的映射关系
• SFT的Loss（交叉熵）
• 指令数据的来源
• 多个数据的拼接（Packing）

第4部分：DPO（直接偏好优化）

• RLHF与DPO的训练架构对比
• Prompt的收集
• DPO（Direct Preference Optimization）
• DPO训练全景图
• β参数对DPO的影响
• 隐式奖励差异对参数更新幅度的影响

第5部分：免训练的大模型优化技术

• CoT（Chain of Thought）与传统问答的对比
• CoT、Self‑consistency CoT、ToT、GoT
• 穷举搜索（Exhaustive Search）
• 贪婪搜索（Greedy Search）
• 波束搜索（Beam Search）
• 多项式采样（Multinomial Sampling）
• Top‑K采样（Top‑K Sampling）
• Top‑P采样（Top‑P Sampling）
• RAG（检索增强生成, Retrieval‑Augmented Generation）
• 功能调用（Function Calling）

第6部分：强化学习（RL）基础

• 强化学习(Reinforcement Learning, RL)的发展历程
• 三大机器学习范式
• 强化学习的基础架构
• 强化学习的运行轨迹
• 马尔可夫链 vs 马尔可夫决策过程（MDP）
• 探索与利用问题（Exploration and Exploitation）
• Ɛ‑贪婪策略下使用动态的Ɛ值
• 强化学习训练范式的对比
• 强化学习算法分类
• 回报（累计奖励，Return）
• 反向迭代并计算回报 G
• 奖励（Reward）、回报（Return）、价值（Value）的关系
• 价值函数 Qπ 与 Vπ 的关系
• 蒙特卡洛（Monte Carlo，MC）法预估状态 St 的价值
• TD 目标与 TD 误差的关系（TD target and TD error）
• TD(0)、多步 TD 与蒙特卡洛的关系
• 蒙特卡洛方法与 TD 方法的特性
• 蒙特卡洛、TD、DP、穷举搜索的关系
• 两种输入输出结构的 DQN（Deep Q-Network）模型
• DQN 的实际应用示例
• DQN 的“高估”问题
• 基于价值 vs 策略（Value-Based vs Policy-Based）
• 策略梯度（Policy Gradient）
• 多智能体强化学习（MARL，Multi-agent reinforcement learning）
• 多智能体 DDPG
• 模仿学习（IL，Imitation Learning）
• 行为克隆（BC，Behavior Cloning）
• 逆向强化学习（IRL，Inverse RL）
• 有模型（Model-Based） vs 无模型（Model-Free）
• 封建等级强化学习（Feudal RL）
• 分布价值强化学习（Distributional RL）

第7部分：策略优化架构及衍生算法

• Actor‑Critic 架构
• 引入基线与优势函数 A （Advantage）的作用
• [GAE（广义优势估计,Generalized Advantage Estimation）算法](#header-