北大博士ChatGLM大模型实战训练营-从芯片基础到大模型构建

先弄清楚：这门课到底解决什么工作场景

这套资料围绕 ChatGLM 等开源大模型展开，它解决的核心场景是：当公司业务需要接入大语言模型时，作为开发人员如何从底层原理把模型跑通，并根据实际业务数据进行参数微调。现在很多做后端或数据分析的上班族，面对大模型往往只停留在调用 API 的阶段，一旦遇到私有化部署、特定领域语料适配或是显存不足的报错就无从下手。这套资料没有停留在泛泛的概念科普，而是硬核地拆解了从 Attention 机制、Transformer 架构到 GPU 计算原理的底层逻辑。它适合有一定 Python 编程基础、写过简单神经网络，且目前正需要转型做大模型工程落地的开发者。如果你完全不懂深度学习基础，直接看这部分内容会非常吃力。

建议怎么看：先啃透底层逻辑，再动手微调

拿到资料后，建议不要按文件顺序盲目往下看。编辑建议先从预习模块的 Attention 与 Transformer 原理入手，把大模型的底层架构彻底搞懂，这是理解后续所有微调技术的前提。接着重点看大模型综述和分词方法，这两块决定了你如何处理自己的业务数据。把理论基础打牢后，直接切入微调部分，重点研究 Prefix Tuning、Adapter 以及 LoRA 这几种高效微调方法的差异。这几节直接对应着实际工作中“算力有限怎么微调大模型”的痛点。最后再去啃模型并行和 GPU 计算原理，这部分偏向底层系统架构，主要解决多卡部署和算力瓶颈问题。配合资料里的向量数据库和距离计算模块，可以完整串起一个检索增强生成的技术链路。

学完能独立做什么，以及怎么配合资料练习

踏踏实实走完这套资料，你能独立完成一个开源大模型的私有化部署与业务适配。具体来说，你能根据场景选择合适的分词器处理垂直领域语料，用 LoRA 等轻量化方法在单张消费级显卡上微调模型，并通过模型并行技术解决大参数量推理时的显存溢出问题，最后结合向量数据库搭出一个具备特定知识库问答能力的业务系统。在看资料时，务必保持动手习惯：讲到 Transformer 时自己手写一遍注意力权重的计算；讲到微调方法时，找一份开源的 ChatGLM 权重，用少量业务数据实际跑通一次 LoRA 训练。不要只盯着视频看推导，大模型工程极其依赖环境调试，只有亲自把显存报错和分词对齐的坑踩一遍，这些理论才能真正变成你转行或接手新项目时的底气。