飞豹客 · 课能看,资料也能带走
飞豹客AI 会员免费

动手自制大模型推理框架Cuda加速与量化实战

课程定位:从调用者到构建者的跨越 目前市场上关于大模型的课程多集中于 API 调用或框架微调,导致开发者即便掌握了应用层技巧,一旦遇到显存溢出或推理延迟过高的问题便束手无策。本课程另辟蹊径,深入底层,引导读者从零开始动手实现一个具备 CUDA 加速能力的推理框架。它不关心如何调参,而是关注张量如何在

单课价¥29.90新品 上架
会员价 会员免费开通会员后本篇可直接下载套餐详情
0 人关注 更新于 2026-11-17 永久有效
发货

网盘链接 · 支付成功后自动发货

保障

永久有效 · 链接失效免费补发

客服

每日 9:00-21:00 在线客服 联系客服

会员可免费下载本篇月会员可免费领取。

开通会员 ›
购买本课销量 0 · 永久有效
会员价 · 单课标价 ¥29.90

会员 · 按档位

永久免费可领
年免费可领
月免费可领

游客按标价购买,不享受上表折扣。

支付成功后自动发放网盘链接,链接失效可找客服免费补

正版保障 极速发货 售后无忧

课程定位:从调用者到构建者的跨越

目前市场上关于大模型的课程多集中于 API 调用或框架微调,导致开发者即便掌握了应用层技巧,一旦遇到显存溢出或推理延迟过高的问题便束手无策。本课程另辟蹊径,深入底层,引导读者从零开始动手实现一个具备 CUDA 加速能力的推理框架。它不关心如何调参,而是关注张量如何在 GPU 上流转、算子如何被高效计算以及内存如何被精准管理。这种视角的转变对于希望向 MLOps 或系统工程师转型的从业者至关重要。当然,高回报伴随着高门槛,学习者必须具备良好的 C++ 编程功底,并熟悉 PyTorch 的基本运作机制。若缺乏并行计算的基础认知,面对复杂的指针操作和内存锁步时容易产生挫败感,因此自我评估基础是否扎实是报名前的必要步骤。

核心产出与知识图谱构建

完成本课程的系统性学习后,你将不再只是框架的使用者,而是能够独立拆解并重建推理引擎的构建者。你的最终产出是一个支持主流架构(如 LLaMA3、Qwen3)的完整推理后端。在这一过程中,你将掌握张量类的设计模式,理解 RMSNorm 等关键组件在 CUDA 环境下的具体实现细节。更重要的是,你会精通 KV Cache 的优化原理及其代码落地,这是提升长文本生成效率的核心技术点。此外,通过 Sgemv 等算子的手写实现与 Nsight Compute 的性能分析工具使用,你将学会如何挖掘硬件极限性能。结合课程中的量化模块,你还能将模型压缩至更小体积以适应边缘设备部署。这一系列技能组合,构成了目前 AI 基础设施领域极具竞争力的技术栈。

分阶段学习路径与资料配合策略

为了确保学习效果,建议严格按照由浅入深的顺序推进,切忌跳读。第一阶段应专注于第 1 课的环境搭建,务必配置好 C++ Testmate 及调试工具,这是后续所有实验得以运行的基石。第二阶段聚焦于理论骨架,重点研读第 3 课的算子类设计与第 4 课的张量实现,建立起对数据流动的整体直观认识。进入第三阶段后,开始攻坚具体算子,依次完成第 5 课的 RMSNorm 和第 13 课的 Sgemv 实现,在此过程中熟练运用第 6 课讲授的性能优化工具。第四阶段是攻克难点,深入解析第 15 课的 KV Cache,它是理解大模型显存优化的钥匙。最后,通过第 12 课的后端选择与第 19 课的剩余算子补全,结合提供的 tokenizer 与模型权重文件进行端到端的联调测试。只有亲手跑通这些环节,才能确认你真的掌握了该框架的全貌。

课程目录

第1课-环境安装2 条
  • 更多配套资料.zip [1.8 MB]
  • 第1课-环境安装【公众号:秘知圈】.html [261.7 KB]
第15次课程-KVCache的原理和实现2 条
  • 课程相关资源.png [493.5 KB]
  • 第15次课程-KVCache的原理和实现【Q群:1015279702】.html [493.9 KB]
第3次课程-算子类的设计2 条
  • 更多课程资料领取入口.png [493.5 KB]
  • 第3次课程-算子类的设计【Q群:1015279702】.html [21.7 KB]
第5次课程-RMSNorm算子的CUDA实现2 条
  • 新手必看.zip [1.8 MB]
  • 第5次课程-RMSNorm算子的CUDA实现【公众号:秘知圈】.html [19.2 KB]
第19次课程-llama模型中的其余算子实现2 条
  • 往期资料.png [493.5 KB]
  • 第19次课程-llama模型中的其余算子实现【Q群:1015279702】.html [122.5 KB]
第4次课程-张量的设计与实现2 条
  • 学习资料更新说明.png [493.5 KB]
  • 第4次课程-张量的设计与实现【公众号:秘知圈】.html [18.2 KB]
《自制大模型推理框架》课程目录-支持LLama3和Qwen32 条
  • 学习资料领取说明.png [493.5 KB]
  • 《自制大模型推理框架》课程目录-支持LLama3和Qwen3【公众号:秘知圈】.html [21.8 KB]
tokenizer.model3 条
  • 学习资料领取说明.png [493.5 KB]
  • tokenizer【公众号:秘知圈】.model [488.0 KB]
  • 更多课程资料领取入口.png [493.5 KB]
第12课-自制大模型推理框架-算子后端的选择2 条
  • 更多配套资料.png [493.5 KB]
  • 第12课-自制大模型推理框架-算子后端的选择【Q群:1015279702】.html [30.7 KB]
第13课-Sgemv算子的实现-cuda2 条
  • 更多配套资料.png [493.5 KB]
  • 第13课-Sgemv算子的实现-cuda【Q群:1015279702】.html [141.8 KB]
第6次课程-Nsight compute的使用和算子的优化2 条
  • 课程相关资源.png [493.5 KB]
  • 第6次课程-Nsight compute的使用和算子的优化【Q群:1015279702】.html [247.1 KB]
第7次课程-模型的量化2 条
  • 课程相关资源.png [493.5 KB]
  • 第7次课程-模型的量化【Q群:1015279702】.html [133.8 KB]
c++ testmate配置1 条
  • c++ testmate配置【Q群:1015279702】.html [510.0 KB]
第18次课程-用Cuda实现LLama模型中多头注意力算子1 条
  • 第18次课程-用Cuda实现LLama模型中多头注意力算子【Q群:1015279702】.html [216.6 KB]
第21次课程-用课程大模型推理框架跑LLama3和Qwen2.51 条
  • 第21次课程-用课程大模型推理框架跑LLama3和Qwen2.5【公众号:秘知圈】.html [90.7 KB]
第8次课程-Cuda的向量化存取3 条
  • 第8次课程-Cuda的向量化存取【Q群:1015279702】.html [284.0 KB]
  • 📁 vscode参考配置.zip
  • vscode参考配置【Q群:1015279702】.zip [1.9 KB]
第22课-《cuda自制大模型推理框架》课程中支持qwen31 条
  • 第22课-《cuda自制大模型推理框架》课程中支持qwen3【公众号:秘知圈】.html [173.0 KB]
第2次课程-内存和设备的管理1 条
  • 第2次课程-内存和设备的管理【Q群:1015279702】.html [18.9 KB]
第20次课程-LLama3.2模型的支持1 条
  • 第20次课程-LLama3.2模型的支持【Q群:1015279702】.html [144.1 KB]
第17课-Llama模型中的MLP层实现1 条
  • 第17课-Llama模型中的MLP层实现【公众号:秘知圈】.html [230.3 KB]
第11课-自制大模型推理框架-算子层的创建和权重的载入1 条
  • 第11课-自制大模型推理框架-算子层的创建和权重的载入【Q群:1015279702】.html [20.4 KB]
第10课-自制大模型推理框架-mmap映射模型文件1 条
  • 第10课-自制大模型推理框架-mmap映射模型文件【Q群:1015279702】.html [78.8 KB]
第16课-KV Cache的实现和自注意力计算中的QKV1 条
  • 第16课-KV Cache的实现和自注意力计算中的QKV【Q群:1015279702】.html [290.0 KB]
第9次课程-自制大模型推理框架-显存的管理1 条
  • 第9次课程-自制大模型推理框架-显存的管理【Q群:1015279702】.html [143.1 KB]
第13课-Sgemv算子的实现-cpu1 条
  • 第13课-Sgemv算子的实现-cpu【公众号:秘知圈】.html [50.8 KB]
第 26 部分3 集
  • 13-14 矩阵乘法算子的cuda和cpu实现-cpu实现.mkv
  • 配套内容说明.png [493.5 KB]
  • 13-14 矩阵乘法算子的cuda和cpu实现-cpu实现【Q群:1015279702】.mkv [456.9 MB]
5 rmsnorm的cuda实现-重置后的第五次课程5 集
  • 课程相关资源.png [493.5 KB]
  • 5 rmsnorm的cuda实现-重置后的第五次课程【Q群:1015279702】.sz [106.9 MB]
  • 📁 0 绪论-绪论-重录高清版.mkv
  • 学习资料更新说明.png [493.5 KB]
  • 0 绪论-绪论-重录高清版【Q群:1015279702】.mkv [163.6 MB]
20 llama3.2模型的支持26 集
  • 新手必看.png [493.5 KB]
  • 20 llama3.2模型的支持【Q群:1015279702】.sz [168.1 MB]
  • 📁 17 MLP层的实现-下.mp4
  • 学习资料领取说明.png [493.5 KB]
  • 17 MLP层的实现-下【Q群:1015279702】.mp4 [404.6 MB]
  • 📁 4 张量的设计与实现-重新录制后的第四章.mkv
  • 学习资料领取说明.zip [1.8 MB]
  • 4 张量的设计与实现-重新录制后的第四章【Q群:1015279702】.mkv [201.4 MB]
  • 📁 2 资源管理-重录后-内存的管理和设备类.mkv
  • 重要资料查看说明.png [493.5 KB]
  • 2 资源管理-重录后-内存的管理和设备类【公众号:秘知圈】.mkv [294.8 MB]
  • 📁 10 mmap映射模型文件.mkv
  • 往期资料.png [493.5 KB]
  • 10 mmap映射模型文件【公众号:秘知圈】.mkv [444.6 MB]
  • 📁 15 kvcache的原理与实现.mp4
  • 学习资料领取说明.png [493.5 KB]
  • 15 kvcache的原理与实现【Q群:1015279702】.mp4 [703.3 MB]
  • 📁 11 算子层的创建和权重的载入.mkv
  • 资料更新与获取方式.png [493.5 KB]
  • 11 算子层的创建和权重的载入【Q群:1015279702】.mkv [579.6 MB]
  • 📁 12 算子后端的选择.mkv
  • 资料更新与获取方式.png [493.5 KB]
  • 12 算子后端的选择【Q群:1015279702】.mkv [345.0 MB]
  • 📁 3 算子类设计-重录后-算子类的设计.mkv
  • 建议您看一下.png [493.5 KB]
  • 3 算子类设计-重录后-算子类的设计【Q群:1015279702】.mkv [250.5 MB]
18 用Cuda实现LLama模型中多头注意力算子-正常版本6 集
  • 配套内容说明.png [493.5 KB]
  • 18 用Cuda实现LLama模型中多头注意力算子-正常版本【公众号:秘知圈】.sz [108.7 MB]
  • 📁 22 支持qwen3.mkv
  • 22 支持qwen3【公众号:秘知圈】.mkv [226.6 MB]
  • 📁 17 MLP层的实现-上.mp4
  • 17 MLP层的实现-上【公众号:秘知圈】.mp4 [499.3 MB]
第 30 部分6 集
  • 13-14 矩阵乘法算子的cuda和cpu实现-gpu实现.mkv
  • 13-14 矩阵乘法算子的cuda和cpu实现-gpu实现【Q群:1015279702】.mkv [649.1 MB]
  • 📁 9 显存的管理.mkv
  • 9 显存的管理【Q群:1015279702】.mkv [635.1 MB]
  • 📁 1 环境配置-1-第一次课程.mkv
  • 1 环境配置-1-第一次课程【Q群:1015279702】.mkv [320.2 MB]
第 31 部分2 集
  • 13-14 矩阵乘法算子的cuda和cpu实现-量化gemv算子的实现.mp4
  • 13-14 矩阵乘法算子的cuda和cpu实现-量化gemv算子的实现【Q群:1015279702】.mp4 [346.5 MB]
7 模型的量化-加载权重-重置后的第7次课程3 集
  • 7 模型的量化-加载权重-重置后的第7次课程【公众号:秘知圈】.sz [110.7 MB]
  • 📁 16 KV Cache的实现和自注意力计算中的QKV.mp4
  • 16 KV Cache的实现和自注意力计算中的QKV【Q群:1015279702】.mp4 [531.4 MB]
8 cuda的向量化存取-Cuda的向量化存取3 集
  • 8 cuda的向量化存取-Cuda的向量化存取【Q群:1015279702】.sz [107.1 MB]
  • 📁 1 环境配置-2-第一节课程-附-vscode2.mkv
  • 1 环境配置-2-第一节课程-附-vscode2【Q群:1015279702】.mkv [22.6 MB]
19 llama中其余算子的cuda实现 - llama模型中的其余算子实现7 集
  • 19 llama中其余算子的cuda实现 - llama模型中的其余算子实现【Q群:1015279702】.sz [116.9 MB]
  • 📁 21 课程demo和整体流程回顾.mp4
  • 21 课程demo和整体流程回顾【Q群:1015279702】.mp4 [907.1 MB]
  • 📁 6 nsight优化算子实现-Nsight compute的使用和算子的优化.mkv
  • 6 nsight优化算子实现-Nsight compute的使用和算子的优化【Q群:1015279702】.mkv [675.0 MB]
  • 📁 1 环境配置-2-第一节课程-附-vscode1.mkv
  • 1 环境配置-2-第一节课程-附-vscode1【公众号:秘知圈】.mkv [47.3 MB]