这门课解决什么问题
把大语言模型跑起来容易，但要低成本、高吞吐地部署到生产环境，往往会卡在显存和算力瓶颈上。这门课针对的就是这个环节：当模型参数量远超单卡显存，或者并发请求导致响应延迟飙升时，工程师该如何拆解瓶颈、估算资源并实施优化。课程没有停留在调用框架接口的层面，而是从预填充与解码阶段的差异切入，把 KVCache 的生成机制、显存占用估算和 GPU 运算原理结合起来讲。如果你在业务中需要把开源模型落地到实际服务器上，而不是只跑 Demo，这门课提供的排查和优化思路能直接对齐你的日常工作。
适合什么基础与建议先看哪几块
课程默认读者具备 Python 编程基础和基本的深度学习概念，熟悉 Transformer 架构，但对底层硬件机制不需要太深的了解。建议先集中看推理基础与 KVCache 相关的章节，尤其是模型内存估算和参数搬运部分。这部分是后续所有优化的前提，只有算清楚模型到底吃掉了多少显存、KVCache 在不同并发下膨胀到什么程度，才能判断该用量化还是运行时加速来解决问题。GPU 内部运算原理那一节也建议重点看，它解释了为什么单纯增加并发并不总能提高吞吐量，帮助建立基于硬件约束的工程直觉。
学完能独立做什么与资料怎么配合练习
学完后，你应该能独立完成一个中等规模模型的部署评估与调优：从计算所需显存、选择合适的存储介质搬运参数，到针对具体业务场景制定优化方案。资料包里的视频讲解偏重原理推演，建议在看的同时，自己准备一台带显卡的机器或者租用云算力进行同步实操。具体做法是：听完内存估算的章节后，立刻拿一个主流开源模型自己算一遍显存占用；看完优化思路的章节后，尝试在本地环境复现参数量化和 IO 优化的效果，对比优化前后的吞吐量指标。不要只停留在看懂推演步骤，把视频里的估算公式和优化逻辑套用到真实模型上跑通，才算真正掌握这门课的核心内容。
帮助技术开发者、AI 工程师快速掌握 LLM 推理核心瓶颈、性能指标、优化方案及部署实践
课程目录
* 01 LLM 推理优化与部署实战/
* 01 课程内容介绍.mp4 02:49
* 02 LLM推理基础-预填充与解码阶段.mp4 13:27
* 03 LLM推理基础-推理阶段与KVCache的关系.mp4 07:54
* 04 LLM推理基础-生成KVCache过程推演.mp4 13:39
* 05 LLM推理基础-为何需要对KVCache优化.mp4 06:34
* 06 LLM推理基础-如何估算模型占用内存.mp4 09:21
* 07 LLM推理基础-GPU内部运算原理与推理机制的关系.mp4 15:22
* 08 LLM推理基础-列举LLM存储介质以及如何搬运参数.mp4 06:14
* 09 LLM推理基础-优化思路-参数量化-运行时加速-IO优化.mp4 04:21
* 10 LLM推理基础-章节总结.mp4 07:53
* 11 LLM性能指标-内容介绍.mp4 02:33
* 12 LLM性能指标-推理评估指标全景图.mp4 05:12
* 13 LLM性能指标-首词生成时间.mp4 03:46
* 14 LLM性能指标-每词生成时间.mp4 02:22
* 15 LLM性能指标-端到端的请求时间.mp4 03:00
* 16 LLM性能指标-系统吞吐量TPS.mp4 05:04
* 17 LLM性能指标-业务指标SLO.mp4 06:25
* 18 LLM性能指标-评测过程与评测工具.mp4 08:49
* 19 LLM性能指标-章节总结.mp4 05:02
* 20 模型压缩-内容介绍.mp4 05:43
* 21 模型压缩-压缩策略-量化-剪枝-蒸馏.mp4 05:45
* 22 模型压缩-模型量化-参数存储空间的组成.mp4 04:51
* 23 模型压缩-模型量化前后使用的方法AWQ与GPTQ.mp4 06:56
* 24 模型压缩-AWQ针对PPL的实验结果.mp4 05:06
* 25 模型压缩-AWQ量化过程与实现-.mp4 11:34
* 26 模型压缩-GPTQ量化过程以及优化IO策略.mp4 12:27
* 27 模型压缩-GPTQ量化工具与实践.mp4 03:15
* 28 模型压缩-剪枝分类和过程详解.mp4 08:52
* 29 模型压缩-模型蒸馏分类和应用场景.mp4 08:58
* 30 模型压缩-章节总结.mp4 08:07
* 31 运行时加速方案-内容介绍.mp4 05:36
* 32 运行时加速方案-多头注意力机制原理与弊端.mp4 07:18
* 33 运行时加速方案-多头注意力计算过程与分析.mp4 05:37
* 34 运行时加速方案-MQA与GQA机制以及性能比较.mp4 08:09
* 35 运行时加速方案-GPU运算与数据传输分析.mp4 09:31
* 36 运行时加速方案-FlashAttention切块和算子.mp4 08:12
* 37 运行时加速方案-PagedAttention原理解析.mp4 14:01
* 38 运行时加速方案-持续批处理原理解析.mp4 09:57
* 39 运行时加速方案-核心推理框架选型.mp4 06:34
* 40 运行时加速方案-章节总结.mp4 06:18
* 41 推理部署实战指导与总结.mp4 06:48
* 02 vLLM推理实战/
* 01 vLLM产品介绍.mp4 08:15
* 02 vLLM分布式推理.mp4 10:48
* 03 显卡驱动安装与配置.mp4 09:46
* 04 Docker进行vLLM模型安装与部署.mp4 12:05
* 05 测试vLLM部署的大模型.mp4 09:20
* 06 vLLM分布式部署思路.mp4 12:43
* 07 系统构建网络配置和框架安装.mp4 15:21
* 08 Head和Worker节点配置创建推理集群.mp4 10:36
* 09 测试vLLM分布式部署.mp4 08:06
* 03 高级量化实战/
* 01 量化实战-量化目的与结果介绍.mp4 12:42
* 02 量化实战-思路与实战步骤讲解.mp4 06:44
* 03 量化实战-了解硬件架构量化工具.mp4 05:22
* 04 量化实战-安装WSL与Conda.mp4 08:23
* 05 TensorRT模型优化器安装与配置.mp4 16:05
* 06 NVFP4量化格式.mp4 10:28
* 07 模型量化脚本解析与校准数据集.mp4 13:23
* 08 模型量化以及结果查看.mp4 05:07
* 09 测试量化之后模型查看返回结果.mp4 07:33
* 10 介绍EvalScope与Perf命令组成.mp4 12:17
* 11 使用EvalScope评测量化模型.mp4 10:50
* 12 介绍LLMCompressor量化工具.mp4 10:17
* 13 安装LLMCompressor.mp4 04:43
* 14 使用LLMCompressor对GPTQ-AWQ-NV.mp4 12:42
* 15 针对两种量化工具比较四种量化结果.mp4 11:55
* 16 量化实战-课程总结.mp4 03:43
