吴师兄-卡尔-小林coding十四周大模型训练营

这门课解决的是哪件事

很多人学大模型卡在同一个地方：理论听得懂，代码一打开就不知道从哪下手。知道注意力机制是怎么回事，但真让你把一层 Transformer 写出来，又写不出来；看过 Llama 的论文，可它的结构到底怎么落到代码上，脑子里是空的。

吴师兄、卡尔、小林 coding 这套十四周训练营，针对的正是这个断层。它的核心动作不是讲概念，而是带着你把模型一层一层敲出来——从 PyTorch 基础，到 Transformer，再到动手复现 Llama，最后走到 GQA、RoPE、KV cache 这类真正影响推理效率的细节。学完你手里应该有一份自己写过的模型代码，而不是只有一堆笔记。

学完能独立做什么

• 用 PyTorch 从零搭出一个可运行的 Transformer 结构，知道每个张量在干什么；
• 对照论文把 Llama 系列模型的组件逐个实现，能说清和自己写的初版差在哪；
• 理解 GQA 分组查询和 RoPE 旋转位置编码的设计动机，并能在代码里复现；
• 给推理过程加上 KV cache，说清楚它为什么能省算力、省在哪个环节。

这些不是纸上谈兵。面试里被问到位置编码怎么实现、KV cache 的显存账怎么算，能当场讲出结构、甚至写出关键片段，和只会背结论是两回事。

资料适合什么基础

门槛比想象中清晰，但也不是零基础可入。你需要：Python 能读懂、会写函数和类；对神经网络有最基础的概念，知道前向、反向、损失这些词；最好接触过一点 PyTorch 或别的深度学习框架。如果这些都没有，前两周会明显吃力，建议先补上再回来。

如果你已经在用大模型 API 做应用，但没碰过模型内部，这门课正合适——它补的是"底下那层"的认知。如果你已经做过微调、跑过开源模型，但没自己从头写过结构，则会拿到更实在的东西。

资料怎么用才不浪费

配套的代码不是给你看的，是给你改的。拿到手先跑通，跑通后做两件事：一是把关键函数删掉自己重写，二是改参数，看输出和显存怎么变。带 Llama 复现的那几周，建议对照原始论文逐段核对，遇到对不上的地方正是理解最深的时刻。

KV cache 和 GQA 这两块内容信息密度高，一次看不懂很正常，隔两天回来看第二遍，配合自己动手改一版带 cache 的推理循环，比看三遍讲解管用。

值不值得花这十四周

这不是一门看完就完的课，它的价值取决于你愿不愿意跟着敲代码。如果你只想了解大模型大概怎么回事，市面上有更轻松的科普。但如果你想真正拥有"从结构层面看懂一个模型、并动手实现"的能力，这十四周投入是划算的。判断标准很简单：你是想听懂，还是想会写。想会写，再进来。