llm-resource（LLM 百宝箱）

LLM全栈优质资源汇总

非常欢迎大家也参与进来，收集更多优质大模型相关资源。

目录

• 🐼 LLM算法
• 🐘 LLM训练
  • 🐘 LLM微调
  • 🐼 LLM对齐
• 🔥 LLM推理
• :palm_tree: LLM数据工程（Data Engineering）
• 📡 LLM压缩
• 🐰 LLM测评
• 🐘 AI基础知识
• 📡 AI基础设施
  • :palm_tree: AI芯片
  • 🐰 CUDA
• 🐘 AI编译器
• 🐰 AI框架
• 📡 LLM应用开发
• 🐘 LLMOps
• 📡 LLM实践
• 📡微信公众号文章集锦

LLM算法

Transformer

原理：

• Transformer模型详解（图解最完整版
• OpenAI ChatGPT（一）：十分钟读懂 Transformer
• Transformer的结构是什么样的？各个子模块各有什么作用？
• 以Transformer结构为基础的大模型参数量、计算量、中间激活以及KV cache剖析
• Transformer 一起动手编码学原理
• 为什么transformer(Bert)的多头注意力要对每一个head进行降维？
• Decoder-Only Transformers: The Workhorse of Generative LLMs

源码：

• OpenAI ChatGPT（一）：Tensorflow实现Transformer
• OpenAI ChatGPT（一）：十分钟读懂 Transformer
• GPT （一）transformer原理和代码详解
• Transformer源码详解（Pytorch版本）
• 搞懂Transformer结构，看这篇PyTorch实现就够了

GPT1

GPT2

• GPT2 源码：https://github.com/huggingface/transformers/blob/main/src/transformers/models/gpt2/modeling_gpt2.py

• GPT2 源码解析：https://zhuanlan.zhihu.com/p/630970209

• nanoGPT：https://github.com/karpathy/nanoGPT/blob/master/model.py

• 7.3 GPT2模型深度解析：http://121.199.45.168:13013/7_3.html

• GPT（三）GPT2原理和代码详解: https://zhuanlan.zhihu.com/p/637782385

• GPT2参数量剖析: https://zhuanlan.zhihu.com/p/640501114

ChatGPT

• State of GPT：大神Andrej揭秘OpenAI大模型原理和训练过程
• OpenAI联合创始人亲自上场科普GPT，让技术小白也能理解最强AI

GLM

• 预训练语言模型：GLM

LLaMA

MOE 大模型

• Mixtral-8x7B MoE大模型微调实践，超越Llama2-65B
• 大模型分布式训练并行技术（八）-MOE并行
• MoE架构模型爆发或将带飞国产AI芯片
• 大模型的模型融合方法概述
• 混合专家模型 (MoE) 详解
• 群魔乱舞：MoE大模型详解
• 大模型LLM之混合专家模型MoE（上-基础篇）
• 大模型LLM之混合专家模型MoE（下-实现篇）

下一代大模型

• https://github.com/NExT-GPT/NExT-GPT
• https://next-gpt.github.io/
• Introduction to NExT-GPT: Any-to-Any Multimodal Large Language Model

多模态大模型

A Survey on Multimodal Large Language Models：https://arxiv.org/pdf/2306.13549 Efficient-Multimodal-LLMs-Survey：https://github.com/lijiannuist/Efficient-