llm-resource
liguodongiot/llm-resource
LLM全栈优质资源汇总
Overview
该仓库收集了关于大规模语言模型（LLM）的各个方面的全面资源，从算法原理到应用开发。涵盖了LLM训练、推理、数据工程等不同主题。
Categories
Tags
Similar tools
ECC
affaan-m/ECC
The agent harness performance optimization system
AutoGPT
Significant-Gravitas/AutoGPT
AutoGPT: Build, Deploy, and Run AI Agents
prompts.chat
f/prompts.chat
The world's largest open-source prompt library for AI
transformers
huggingface/transformers
🤗 Transformers: the model-definition framework for state-of-the-art machine learning models
JavaGuide
Snailclimb/JavaGuide
Snailclimb/JavaGuide: 面试 & 后端通用面试指南，覆盖计算机基础、数据库、分布式、高并发、系统设计与 AI 应用开发
open-webui
open-webui/open-webui
User-friendly AI Interface (Supports Ollama, OpenAI API, ...)
Install
git clone https://github.com/liguodongiot/llm-resourceREADME
llm-resource（LLM 百宝箱）
LLM全栈优质资源汇总
非常欢迎大家也参与进来，收集更多优质大模型相关资源。
目录
- 🐼 LLM算法
- 🐘 LLM训练
- 🐘 LLM微调
- 🐼 LLM对齐
- 🔥 LLM推理
- :palm_tree: LLM数据工程（Data Engineering）
- 📡 LLM压缩
- 🐰 LLM测评
- 🐘 AI基础知识
- 📡 AI基础设施
- :palm_tree: AI芯片
- 🐰 CUDA
- 🐘 AI编译器
- 🐰 AI框架
- 📡 LLM应用开发
- 🐘 LLMOps
- 📡 LLM实践
- 📡微信公众号文章集锦
LLM算法
Transformer
原理：
- Transformer模型详解（图解最完整版
- OpenAI ChatGPT（一）：十分钟读懂 Transformer
- Transformer的结构是什么样的？各个子模块各有什么作用？
- 以Transformer结构为基础的大模型参数量、计算量、中间激活以及KV cache剖析
- Transformer 一起动手编码学原理
- 为什么transformer(Bert)的多头注意力要对每一个head进行降维？
- Decoder-Only Transformers: The Workhorse of Generative LLMs
源码：
- OpenAI ChatGPT（一）：Tensorflow实现Transformer
- OpenAI ChatGPT（一）：十分钟读懂 Transformer
- GPT （一）transformer原理和代码详解
- Transformer源码详解（Pytorch版本）
- 搞懂Transformer结构，看这篇PyTorch实现就够了
GPT1
GPT2
-
GPT2 源码：https://github.com/huggingface/transformers/blob/main/src/transformers/models/gpt2/modeling_gpt2.py
-
GPT2 源码解析：https://zhuanlan.zhihu.com/p/630970209
-
nanoGPT：https://github.com/karpathy/nanoGPT/blob/master/model.py
-
7.3 GPT2模型深度解析：http://121.199.45.168:13013/7_3.html
-
GPT（三）GPT2原理和代码详解: https://zhuanlan.zhihu.com/p/637782385
-
GPT2参数量剖析: https://zhuanlan.zhihu.com/p/640501114
ChatGPT
GLM
LLaMA
MOE 大模型
- Mixtral-8x7B MoE大模型微调实践，超越Llama2-65B
- 大模型分布式训练并行技术（八）-MOE并行
- MoE架构模型爆发或将带飞国产AI芯片
- 大模型的模型融合方法概述
- 混合专家模型 (MoE) 详解
- 群魔乱舞：MoE大模型详解
- 大模型LLM之混合专家模型MoE（上-基础篇）
- 大模型LLM之混合专家模型MoE（下-实现篇）
下一代大模型
- https://github.com/NExT-GPT/NExT-GPT
- https://next-gpt.github.io/
- Introduction to NExT-GPT: Any-to-Any Multimodal Large Language Model
多模态大模型
A Survey on Multimodal Large Language Models：https://arxiv.org/pdf/2306.13549 Efficient-Multimodal-LLMs-Survey：https://github.com/lijiannuist/Efficient-