适合谁，解决什么实际问题

这门课聚焦的是将深度学习模型从“训练得好”变成“跑得动、跑得快”的最后一步。很多算法工程师或后端开发者在把模型部署到服务器或边缘设备时，会遇到推理延迟高、资源占用大、跨硬件兼容性差等问题。课程解决的核心痛点是：如何利用 NVIDIA GPU 的并行能力（CUDA）以及端到端的优化引擎（TensorRT），对已有模型进行算子融合、精度校准和内存优化，从而在特定硬件上实现低延迟、高吞吐的推理服务。它不是教你训练模型，而是教你如何让模型在工程环境下真正落地见效。

适合有一定 C++ 基础、了解深度学习基本流程、并且手头已经有训练好的 PyTorch 或 TensorFlow 模型文件的读者。如果你从未接触过 GPU 编程或部署链路，建议先补齐 Python/C++ 基础及 PyTorch 基本使用，再进入本课程，否则环境配置和代码调试阶段会消耗大量时间。

建议的学习路径与资料配合方式

课程前段关于并行处理简介与 GPU 体系架构的部分非常必要，不要跳过。这部分帮助建立线程、块、网格、显存层级等概念，是后续理解 CUDA 内核编写和 TensorRT 优化原理的基石。在环境搭建章节，务必对照官方文档和课程指引，确认 CUDA、cuDNN、TensorRT 版本之间的兼容性，这是实战中踩坑最多的环节。建议准备一台配备 NVIDIA 显卡的 Linux 服务器或工作站，按照课程顺序逐一验证环境。

资料包中包含的课件 PDF 适合在观看视频前快速浏览，抓住每章的核心逻辑；视频部分则需在实操时对照播放。遇到版本选择或安装报错，优先查阅课件中的说明，必要时结合网络上同一版本的官方文档排查。练习时，先复现课程中的简单算子优化示例，再尝试将自己训练的模型转换为 TensorRT 引擎，并对比 FP32 与 FP16/INT8 下的性能差异。

学完能独立做什么

完成课程后，你应能独立完成以下工作：解析 GPU 硬件架构并合理划分 CUDA 线程块；编写简单的 CUDA 内核加速自定义算子；将主流深度学习模型导出为 ONNX 格式；使用 TensorRT 构建推理引擎，配置精度校准策略；在 Linux 环境下部署基于 C++ 的推理服务，并量化评估推理耗时与显存占用。这些能力直接对应自动驾驶、安防监控、推荐系统等对实时性要求较高的工业场景。

课程目录

20241018091912687.png (648.

06 KB,  ) 2024-10-20 09:

11 上传 └──一、并行处理与GPU体系架构 | ├──001.第一章课件 并行处理、GPU体系架构与课程简介.pdf
 5.54M | ├──002.1.0 课程介绍_ev.mp4
 53.59M | ├──003.1.1 并行处理简介_ev.mp4
 88.02M | ├──004.1.2 GPU并行处理_ev.mp4
 96.79M | ├──005.1.3.1 环境搭建_ev.mp4
 27.91M | ├──006.1.3.2 CUDA cuDNN TRT版本选择_ev.mp4
 124.77M | ├──007.1.3.3 常用软件安装_ev.mp4
 59.46M | ├──008.1.3.4 服务器的环境配置_ev.mp4
 113.15M | └──009.1.3.5 编辑器的环境配置_ev.mp4
 101.76M ├──二、CUDA编程入门 | ├──001.第二章课件 CUDA编程入门.pdf
 10.11M | ├──002.2.1.1 理解CUDA中的Grid和Block_ev.mp4
 62.74M | ├──003.2.1.2 理解.cu和.cpp的相互引用及Makefile_ev.mp4
 59.57M | ├──004.2.2.1 CUDA Core的矩阵乘法计算_ev.mp4
 63.17M | ├──005.2.2.2 CUDA中的Error Handle_ev.mp4
 37.37M | ├──006.2.2.3 GPU的硬件信息获取_ev.mp4
 19.32M | ├──007.2.3.1 安装Nsight system and compute-上_ev.mp4
 31.22M | ├──008.2.3.2 安装Nsight system and compute-下_ev.mp4
 49.11M | ├──009.2.4.1 共享内存-上_ev.mp4
 34.09M | ├──010.2.4.1 共享内存-下_ev.mp4
 40.69M | ├──011.2.4.2 Bank Conflict-上_ev.mp4
 28.22M | ├──012.2.4.2 Bank Conflict-下_ev.mp4
 29.63M | ├──013.2.5.1 Stream与Event-上_ev.mp4
 61.89M | ├──014.2.5.2 Stream与Event-下_ev.mp4
 37.74M | ├──015.2.6.1 双线性插值与仿射变换-上_ev.mp4
 34.57M | └──016.2.6.2 双线性插值与仿射变换-下_ev.mp4
 98.11M ├──三、TensorRT基础入门 | ├──001.第三章课件.pdf
 10.92M | ├──002.3.1 TensorRT概述_ev.mp4
 47.12M | ├──003.3.2 TensorRT的应用场景_ev.mp4
 41.75M | ├──004.3.3 TensorRT的模块_ev.mp4
 44.15M | ├──005.3.4 导出并分析ONNX_ev.mp4
 62.74M | ├──006.3.5 剖析ONNX架构并理解ProtoBuf-上_ev.mp4
 59.15M | ├──007.3.5 剖析ONNX架构并理解ProtoBuf-下_ev.mp4
 57.08M | ├──008.3.6 ONNX注册算子的方法_ev.mp4
 89.31M | ├──009.3.7 ONNX graph surgeon-上_ev.mp4
 27.05M | ├──010.3.7 ONNX graph surgeon-下_ev.mp4
 96.72M | ├──011.3.8 快速分析开源代码并导出ONNX_ev.mp4
 111.47M | ├──012.3.9 使用trtexec_ev.mp4
 268.37M | └──013.3.

10 trtexec log分析_ev.mp4
 198.13M ├──四、TensorRT模型部署优化 | ├──001.第四章课件.pdf
 12.14M | ├──002.4.1.1 FLOPS和TOPS_ev.mp4
 54.85M | ├──003.4.1.2 Roofline model_ev.mp4
 133.67M | ├──004.4.2 模型部署的几大误区_ev.mp4
 36.85M | ├──005.4.3.1 quantization(mapping-and-shift)_ev.mp4
 89.41M | ├──006.4.3.2 quantization(quantization-granularity)_ev.mp4
 32.06M | ├──007.4.3.3 quantization(calibration-algorithm)_ev.mp4
 80.66M | ├──008.4.3.4 quantization(PTQ-and-quantization-analy_ev.mp4
 46.91M | ├──009.4.3.5 quantization(QAT-and-layer-fusion)_ev.mp4
 80.86M | ├──010.4.4.1 pruning(pruning granularity)_ev.mp4
 61.76M | ├──011.4.4.2 pruning(channel level pruning)_ev.mp4
 70.80M | └──012.4.4.3 pruning(sparse tensor core)_ev.mp4
 41.87M ├──五、TensorRT API的基本使用 | ├──001.5.1 MNISIT-model-build-infer_ev.mp4
 52.08M | ├──002.5.2 build-model_ev.mp4
 35.61M | ├──003.5.3 infer-model_ev.mp4
 21.27M | ├──004.5.4 TensorRT-network-structure_ev.mp4
 44.88M | ├──005.5.5.1 build-model-from-scratch-上_ev.mp4
 78.92M | ├──006.5.5.2 build-model-from-scratch-下_ev.mp4
 62.58M | ├──007.5.6.1 build-trt-module-上_ev.mp4
 46.99M | ├──008.5.6.2 build-trt-module-下_ev.mp4
 36.47M | ├──009.5.7 custom-trt-plugin_ev.mp4
 139.84M | └──010.5.8 plugin-unit-test(python+cpp)_ev.mp4
 99.51M ├──六、实战：部署分类器（CNN&ViT） | ├──001.6.0 preprocess-speed-compare_ev.mp4
 48.46M | ├──002.6.1 deploy-classification-basic_ev.mp4
 55.94M | ├──003.6.2.1 design-of-inference-model_ev.mp4
 44.44M | ├──004.6.2.2 deploy-classification-advanced_ev.mp4
 71.56M | ├──005.6.3 int8-calibration_ev.mp4
 87.62M | └──006.6.4 trt-engine-explorer_ev.mp4
 89.70M ├──七、实战：部署YOLOv8检测器 | ├──001.7.1 load-save-tensor_ev.mp4
 60.05M | ├──002.7.2 affine-transformation_ev.mp4
 40.52M | ├──003.7.3 deploy-yolov8-basics_ev.mp4
 126.58M | └──004.7.4 quantization-analysis_ev.mp4
 114.25M ├──八、实战：部署BEVFusion模型 | ├──002.8.1 Overview-and-setting-environment-_ev.mp4
 112.56M | ├──003.8.2 About-spconv-algorithm_ev.mp4
 48.21M | ├──004.8.3 Export-SParse-Convolution-Network_ev.mp4
 87.23M | ├──005.8.4 Spconv-with-Explicit-GEMM-Conv_ev.mp4
 57.29M | ├──006.8.5 Spconv-with-Implicit-GEMM-Conv_ev.mp4
 52.62M | ├──007.8.6 BEVPool-Optimization_ev.mp4
 58.35M | ├──008.8.7 Analyze-each-onnx_ev.mp4
 68.58M | └──009.8.8 CUDA-BEVFusion-Framework-Design_ev.mp4
 60.57M