llm_note

• 我的自制大模型推理框架课程介绍
• 一 transformer 模型
  • 1.1 transformer 模型基础
• 二 LLM 量化推理
• 三 llm 推理优化
  • 3.1 LLM 综合性能分析
  • 3.2 LLM 推理优化-算法层面
  • 3.3 LLM 并行加速
• 四 高性能计算
  • 4.1 triton 笔记
  • 4.2 cuda 笔记
  • 4.3 高性能编程学习资料推荐
• 五 框架解析
• 参考资料

LLM notes, including model inference, hpc programming note, transformer model structure, and vllm framework code analysis notes.

我的自制大模型推理框架课程介绍

1. 框架亮点：基于 Triton + PyTorch 开发的轻量级、且简单易用的大模型推理框架，采用类 Pytorch 语法的 Triton 编写算子，绕开 Cuda 复杂语法实现 GPU 内核开发。
2. 价格：499。非常实惠和便宜，课程、项目、面经、答疑质量绝对对得起这个价格。
3. 课程优势​：
   • 手把手教你从 0 到 1 实现大模型推理框架。
   • 项目导向 + 面试导向 + 分类总结的面试题。
   • 2025 最新的高性能计算/推理框架岗位的大厂面试题汇总
4. 项目优势​：
   • 架构清晰，代码简洁且注释详尽，覆盖大模型离线推理全流程。​
   • 运用 OpenAI Triton 编写高性能计算 Kernel，其中矩阵乘法内核效率堪比 cuBLAS。​
   • 基于 PyTorch 实现高效显存管理。​
   • 课程项目完美支持 FlashAttentionV1、V2、V3 与 GQA，以及 PageAttention 的具体实现。​
   • 使用 Triton 编写融合算子，如 KV 线性层融合等。​
   • 适配最新的 qwen3/qwen2.5/llama3/llava1.5 模型，相较 transformers 库，在 llama3 1B 和 3B 模型上，加速比最高可达 4 倍。
5. 分类总结部分面试题：

1. 项目运行效果:

llama3.2-1.5B-Instruct 模型流式输出结果测试：

Qwen2.5-3B 模型（社区版本）流式输出结果测试：

Llava1.5-7b-hf 模型流式输出结果测试:

感兴趣的同学可以扫码联系课程购买，这个课程是我和《自制深度学习推理框架》作者一起合力打造的，内容也会持续更新优化。

一 transformer 模型

1.1 transformer 模型基础

• transformer 论文解读
• transformer 模型代码实现
• llama1-3 模型结构详解
• vit 论文速读
• gpt1-3 论文解读
• Sinusoida 位置编码算法详解
• MLA结构代码实现及优化

二 LLM 量化推理

• SmoothQuant 论文解读
• SmoothQuant 算法源码剖析
• AWQ 论文解读
• AWQ 算法源码剖析

三 llm 推理优化

3.1 LLM 综合性能分析

• llm 推理揭秘论文翻译
• llm 综合分析论文翻译
• llm推理服务框架总结

3.2 LLM 推理优化-算法层面

• online-softmax 论文解读
• flashattention-1 论文解读
• flashattention-2 论文解读
• flashattention-3 论文解读
• flashattention1-2-3 系列总结
• prompt-cache论文速读
• vllm优化之cuda_graph详解

3.3 LLM 并行加速

• 张量并行技术详解

四 高性能计算

4.1 triton 笔记

• 理解 triton 之基础知识
• trito 内核开发基础 1
• trito 内核开发基础 2
• trito 内核开发基础 3
• trito 内核开发基础 4
• trito 内核开发基础 5

4.2 cuda 笔记

GPU 内核开发基础：

• 英伟达 GPU 架构总结
• 英伟达GPU通信和多卡拓扑结构
• [英伟达 GPU 性能分析指导](./4-hpc_basic/英伟达