llm-action
liguodongiot/llm-action
分享大模型技术原理和实战经验，涵盖工程化、应用落地
Overview
该仓库专注于提供关于大型语言模型（LLM）的技术知识，涵盖训练、推理、优化及各种实用技巧，旨在帮助用户更好地理解和应用大规模机器学习模型。
Categories
Tags
Similar tools
ollama
ollama/ollama
Get up and running with Kimi-K2.6, GLM-5.1, MiniMax, DeepSeek, gpt-oss, Qwen, Gemma and other models.
prompts.chat
f/prompts.chat
The world's largest open-source prompt library for AI
transformers
huggingface/transformers
🤗 Transformers: the model-definition framework for state-of-the-art machine learning models
langflow
langflow-ai/langflow
Langflow is a powerful platform for building and deploying AI-powered agents and workflows.
open-webui
open-webui/open-webui
User-friendly AI Interface (Supports Ollama, OpenAI API, ...)
awesome-llm-apps
Shubhamsaboo/awesome-llm-apps
100+ AI Agent & RAG apps you can actually run — clone, customize, ship.
Install
git clone https://github.com/liguodongiot/llm-actionREADME
目录
- :snail: LLM训练
- 🐫 LLM训练实战
- 🐼 LLM参数高效微调技术原理
- 🐰 LLM参数高效微调技术实战
- 🐘 LLM分布式训练并行技术
- 🌋 分布式AI框架
- 📡 分布式训练网络通信
- :herb: LLM训练优化技术
- :hourglass: LLM对齐技术
- 🐎 LLM推理
- 🚀 LLM推理框架
- ✈️ LLM推理优化技术
- ♻️ LLM压缩
- 📐 LLM量化
- 🔰 LLM剪枝
- 💹 LLM知识蒸馏
- ♑️ 低秩分解
- :herb: LLM测评
- 🔯 LLM效果评测
- 🔘 LLM推理性能压测
- :palm_tree: LLM数据工程
- :dolphin: LLM微调高效数据筛选技术
- :cyclone: 提示工程
- ♍️ LLM算法架构
- :jigsaw: LLM应用开发
- 🀄️ LLM国产化适配
- 🔯 AI编译器
- 🔘 AI基础设施
- :maple_leaf: AI加速卡
- :octocat: AI集群网络通信
- 💟 LLMOps
- 🍄 LLM生态相关技术
- 💹 LLM性能分析
- :dizzy: LLM面试题
- 🔨 服务器基础环境安装及常用工具
- 💬 LLM学习交流群
- 👥 微信公众号
- ⭐️ Star History
- :link: AI工程化课程推荐
LLM训练
LLM训练实战
下面汇总了我在大模型实践中训练相关的所有教程。从6B到65B，从全量微调到高效微调（LoRA，QLoRA，P-Tuning v2），再到RLHF（基于人工反馈的强化学习）。
| LLM | 预训练/SFT/RLHF... | 参数 | 教程 | 代码 |
|---|---|---|---|---|
| Alpaca | full fine-turning | 7B | 从0到1复现斯坦福羊驼（Stanford Alpaca 7B） | 配套代码 |
| Alpaca(LLaMA) | LoRA | 7B~65B | 1.足够惊艳，使用Alpaca-Lora基于LLaMA(7B)二十分钟完成微调，效果比肩斯坦福羊驼 2. 使用 LoRA 技术对 LLaMA 65B 大模型进行微调及推理 | 配套代码 |
| BELLE(LLaMA/Bloom) | full fine-turning | 7B | 1.基于LLaMA-7B/Bloomz-7B1-mt复现开源中文对话大模型BELLE及GPTQ量化 2. [BELLE(LLaMA-7B/Bloomz-7B1-mt)大模型使用GPTQ量化后推理性能测试](https://zhua |