分布式高性能深度学习实战计划

这门课的名字里带「分布式」和「高性能」，听起来很唬人，但它的落点其实很具体：当你手里有一个单卡放不下、或者单卡跑得太慢的模型时，怎么把它拆到多张卡上，还能让训练真的变快。这不是一门讲深度学习入门的课，它假设你已经能自己写出一个完整的训练脚本，知道反向传播、优化器、学习率这些概念在代码里长什么样。如果你连 PyTorch 的 DataLoader 都没怎么用过，先别急着看，会卡在第 1 周。

它解决的是「模型变大之后怎么办」

课程从数据并行讲起，这是绝大多数人最先遇到的多卡场景：一份模型复制到每张卡上，各跑各的数据，再同步梯度。听起来简单，但真正动手时会碰到通信开销、显存不均、batch size 怎么调这些问题。接着往深走，依次是张量并行、流水线并行，再到混合精度和 3D 并行。这几块是整门课的主干，也是分布式训练里最容易卡住的地方——不是概念难，而是并行策略之间的取舍需要你亲手算一遍显存和通信量才能理解。后半段用 Megatron-LM 做实战，把前面拆开的并行方式拼回一个能跑起来的训练流程。再往后是计算图优化、TensorRT 部署、参数服务器，以及两个完整项目：分布式推荐系统和个性化语音合成。这两个项目不是玩具，它们分别对应推荐场景的大规模稀疏特征和语音合成里的序列生成，属于工业界真实会碰到的形态。

建议的看课顺序和练习方式

如果你时间有限，优先看第 1 到第 6 周，也就是数据并行、张量并行、流水线并行、Megatron-LM 实战、混合精度与 3D 并行。这几周构成了分布式训练的完整骨架，后面的内容基本都建立在这套并行思维上。第 7 周的训练策略和第 10 周的计算图优化可以当作补充，遇到性能瓶颈时再回头翻。推荐系统和语音合成两个项目放在最后，适合已经能独立跑通并行训练之后，用来看工程上怎么组织代码、怎么处理数据管道。

练习上，不要只看视频。每一周讲完并行方式，就找一个自己熟悉的小模型，试着用对应的策略改一遍，哪怕只是在两张卡上跑通数据并行，也比看完十周不动手强。混合精度那部分尤其要自己试，因为数值溢出和 loss scaling 的坑，看是看不出来的。TensorRT 和部署部分，建议拿一个已经训练好的模型去走一遍转换流程，重点感受推理阶段的显存和延迟变化。

学完之后你能做什么

比较现实的目标是：你能独立判断一个模型该用哪种并行策略，能在多卡环境里把训练跑起来并定位常见的通信和显存问题，能读懂 Megatron-LM 这类框架的配置项，也能把一个训练好的模型做推理加速和部署。至于推荐系统和语音合成，你至少能理解它们的工程结构，知道数据怎么进、模型怎么出，但不要指望学完就能独立做一个上线的推荐系统——那需要业务数据和工程积累，课程给的是方法，不是现成答案。

基础方面，需要你熟悉 PyTorch，写过完整的训练循环，了解基本的 Linux 命令和多卡环境的概念。如果这些还不熟，先补上再回来，这门课的节奏不会等你。