极客时间-AI大模型微调训练营第五期

这门课到底教什么

市面上的大模型课程大致分两类：一类讲原理，听完你还是不知道怎么动手；一类只教调API，遇到显存爆了、模型跑不动就束手无策。这门训练营的定位在两者之间——它假设你已经能跑通一个开源模型，接下来要解决的是「怎么让它在我的数据和硬件上真正可用」。

从资料结构看，课程把相当比重的篇幅放在量化与显存优化上：模型显存占用怎么算、GPTQ和AWQ两种主流量化算法各自解决什么问题、BitsAndBytes这个软件包怎么用，最后落到Facebook OPT模型的量化实战。这条线索很明确——不是泛泛讲「微调很重要」，而是直面微调过程中最劝退的那道坎：显存不够。

学完能独立做什么

按课程的推进节奏，学完你应该能独立完成这几件事：估算一个给定模型在特定精度下的显存开销，判断自己的卡能不能跑；针对不同场景选择合适的量化方案，而不是无脑上4bit；用现成的量化工具包把模型压下来并验证效果损失；在量化后的模型上继续做微调训练。

这几项能力对应的是真实工作场景：公司给你一张24G的卡，让你把一个7B或13B的模型微调成业务专用版本。能不能做成，往往不取决于你懂多少注意力机制的数学推导，而取决于你会不会在显存、精度、训练时间之间做权衡。课程的价值就在这里。

资料适合什么基础

需要说清楚的是，这门课不适合零基础。你得先具备：Python能读懂类和方法、用PyTorch加载过预训练模型、知道LoRA是什么、跑过一次完整的训练流程。如果这些还没有，直接进来会卡在环境配置和代码阅读上，浪费时间。

它更适合两类人：一是已经做过简单微调、但一遇到大模型或小显存就卡住的工程师；二是转行者中已经补完深度学习基础、想找一个具体切口深入的人。对后者来说，量化这个切入点选得不错——它足够具体，又足够通用，学完能迁移到很多模型上。

怎么用这份资料

• 先看章节介绍，建立这一章的问题意识，别急着开视频。
• 量化算法部分（GPTQ、AWQ）建议对照论文或官方文档看，视频讲得快，概念容易滑过去。
• 作业不要跳过。作业文件很小，但它是检验你是否真的能上手的最直接方式。
• OPT模型量化实战那段建议自己复现一遍，换一个模型再试一次，才能真正内化。
• 课件留着当查阅手册，不必一次看完，遇到具体问题时回来翻。

值不值得学

如果你的目标岗位涉及模型部署、推理优化或私有化微调，量化与显存优化是绕不开的硬技能，这门课的内容密度对得起它的定位。但如果你只是想了解大模型是什么、或者打算做纯应用层开发，这门课偏底层，性价比不高。

判断标准很简单：你最近有没有被显存问题卡住过？如果有，这门课能帮你省下大量试错时间；如果没有，先把手头的模型跑起来，再回来也不迟。