AI大模型硬件架构

这门课讲的是大模型跑在什么硬件上、这些硬件之间怎么连、以及你日常要面对哪些和 GPU 相关的具体问题。它不教你怎么训练模型，也不讲算法调参，而是把目光放在服务器机柜里那一层：GPU 板卡、卡间互联、节点间网络、集群调度。如果你在工作中遇到过「卡明明插着但利用率上不去」「多机训练带宽打不满」「不知道该选 IB 还是以太网」这类问题，这门课的内容正好对着这些场景。

它解决的是哪一类工作问题

三类人能从里面拿到东西。做运维的，会接触到 GPU 服务器的日常管理和集群层面的调度逻辑，理解板卡级算力是怎么被分配出去的，而不是只会看 nvidia-smi 的输出。做网络的，重点是节点之间的连接方案，InfiniBand 和以太网在大模型集群里各自的定位、组网思路和协议差异，这部分直接关系到你设计或优化网络时的取舍。做开发的，价值在于搞清楚底层硬件长什么样，为什么某些并行策略在特定卡型上更快，软硬件适配的问题往往卡在这一层认知上。

需要说明的是，课程偏向原理和方案层面的梳理，不是手把手的操作手册。它帮你建立判断力，而不是给你一套可以照抄的命令。

建议的观看顺序和基础要求

如果你完全没有 GPU 相关经验，建议从 GPU 基本架构那一块入手，先弄清一块卡内部由什么构成、显存和计算单元的关系，再往下看卡与卡之间的连接方式。有了一定概念之后，再进入多卡互联和节点间网络的部分，包括点对点直连、不同连接拓扑的差异，以及 InfiniBand 和以太网两种方案各自的适用条件。集群层面的算力调度放在后面看，因为它需要前面这些作为铺垫，否则容易只记住结论而不知道结论从哪来。

基础方面，不需要你会写 CUDA，也不要求数学背景。但最好对服务器硬件有基本概念，知道 CPU、内存、网卡、交换机大概是干什么的；做网络方向的人如果熟悉基本的网络分层和交换原理，看组网部分会顺很多。完全零基础也能看，只是需要多花点时间在术语上。

学完之后能独立做什么，资料怎么用

学完比较现实的目标是：能看懂一套 GPU 集群的硬件方案图，说清楚各层连接用的是什么、为什么这么选；在遇到多机多卡性能不达预期时，知道该从卡间互联还是节点间网络去排查；参与硬件选型或集群扩容讨论时，能提出有依据的意见，而不是只能听别人讲。这些是判断层面的能力，不是背下来的知识点。

资料的使用建议是配合你手上的实际环境。看到某一种连接方案时，对照自己公司或实验室的机器去确认用的是哪种；看到调度相关内容时，回想一下平时提交任务的方式和资源分配结果。课程里的方案讲解偏静态，而真实集群的问题往往出在细节上，所以每看完一块，最好找一个自己环境里的具体现象去对应。如果暂时没有环境，就把方案之间的差异整理成对比笔记，重点是搞清楚每种选择背后的约束条件，而不是记住哪个更好。

整体来说，这门课适合已经在大模型相关岗位上、或者正准备转过去的人，用来补齐硬件和集群这一层的认知缺口。如果你只是想了解大模型能做什么应用，它帮不上忙；但如果你天天和服务器、网络、GPU 资源打交道，这些内容迟早会用上。