这门课解决什么工作场景
如果你在做大模型落地，大概率会遇到这种情况：直接调用通用 API 或开源基座模型，在通用闲聊上表现尚可，但一旦丢进公司的垂直业务语料，回答就开始跑偏、幻觉增多，或者无法遵循特定的输出格式。这门微调算法实战营解决的就是这个断层问题。它不教你怎么调 API，也不侧重怎么搭前端界面，而是把重点放在底层算法逻辑上：怎么通过微调让模型真正理解你的私有数据分布，怎么解决长文本注意力发散、显存溢出、灾难性遗忘等实际训练中的性能瓶颈。课程融入了较新的微调算法前沿成果，核心目标是让你在面对复杂业务场景时，能独立设计出适配当前数据特点和算力条件的微调方案，而不是只会套用现成的脚本跑通流程。
适合什么基础与学习切入点
从资料编排来看，这不适合零基础转码人员。课程默认你已经具备一定的 Python 编程能力，了解深度学习基础概念，并且能看懂简单的张量操作。第一周直接切入大模型发展脉络、Tokenizer 原理、Self-Attention 机制以及位置编码。如果你对这些概念完全陌生，建议先别硬啃，否则后面讲到高阶优化策略时会彻底听天书。建议有一定基础但底子薄的读者，先把前几节关于注意力机制和词向量化的内容吃透，弄懂 QKV 矩阵运算的物理意义，再往下推进。这部分看似枯燥的理论，恰恰是后续判断模型为何微调失败、该如何调整超参数的判断依据。
资料配合与独立产出建议
这套资料是典型的理论解析加算法实现的闭环结构，不要只用眼睛看视频。视频里讲了 Self-Attention 和 Positional Embedding，你就得在自己的环境里把这段逻辑手写一遍，观察不同维度下的张量形状变化。学到后续的微调算法时，重点放在效果优化环节：拿一份小规模的垂直语料，实际跑一次微调，对比基座模型和微调后模型在特定任务上的输出差异。学完这门课，你应该能独立完成一件具体的事：拿到一个新业务场景，能准确评估该用什么微调策略，估算需要的显存开销，独立排查训练日志中的报错，并根据 loss 曲线调整参数，最终交付一个在特定指标上达标的微调模型。
聚焦大模型微调的算法原理与技术突破，专为想深入理解微调底层逻辑的技术开发者设计。最新版融入 2025 年微调算法前沿成果，通过 “理论解析→算法实现→效果优化” 的闭环教学，帮助学员掌握从基础微调算法到高阶优化策略的全链路知识，能独立设计适配不同场景的微调方案，解决复杂业务中的模型性能问题。
课程目录
* 01 第一周/
* 01 第1节课 5月12日/
* 01 大模型的发展、Tokenizer、Self-Attention/
* 01 大模型的发展 (891.49 MB), 58:07
* 02 Tokenizer (646.19 MB), 01:04:45
* 03 Self-Attention (547.23 MB), 54:59
* 04 Positional Embedding (232.78 MB), 23:23
* 02 第二周/
* 01 第1节课补充课-5月15日/
* 01 Layer Normalization、Label Smoothing/
* 01 Layer Normalization (993.88 MB), 01:27:40
* 02 FFN、Label Smoothing、Decoding (688.00 MB), 52:29
* 02 第2节课 5月19日/
* 01 大模型微调概览、Pipeline、Transformers/
* 01 大模型微调概览-语言模型 (908.96 MB), 58:16
* 02 大模型微调pipeline (1.06 GB), 01:20:42
* 03 Transformers (646.42 MB), 47:42
* 03 第三周/
* 01 第3节课 5月26日/
* 01 指令微调数据集构建、LoRA训练模型/
* 01 指令微调 (1.05 GB), 01:09:20
* 02 指令微调数据集构建 (807.08 MB), 59:45
* 03 LoRA训练模型 (842.97 MB), 01:01:05
* 04 第四周/
* 01 第4节课 6月2日/
* 01 AdaLora与Alpaca、Vicuna微调大模型简介/
* 01 Lora、AdaLora (992.19 MB), 01:22:04
* 02 Alpaca、Vicuna微调大模型简介 (1.31 GB), 01:37:07
* 05 第五周/
* 01 第5节课 6月16日/
* 01 Quantization、Qlora/
* 01 Quantization (1.41 GB), 01:40:51
* 02 Qlora (1.04 GB), 01:09:35
* 06 第六周/
* 01 第6节课 6月23日/
* 01 More Quantization、Compression/
* 01 More Quantization-01 (1.30 GB), 01:19:01
* 02 More Quantization-02 (854.27 MB), 01:01:11
* 03 Compression (673.81 MB), 42:46
* 07 第七周/
* 01 第7节课 7月7日/
* 01 RLHF介绍、强化学习/
* 01 RLHF介绍 (608.62 MB), 40:09
* 02 强化学习01 (844.90 MB), 01:18:39
* 03 强化学习02 (666.89 MB), 55:11
* 04 Example-Gridworld (655.65 MB), 56:48
* 08 第八周/
* 01 第8节课 7月14日/
* 01 Monte Carlo、TD Prediction/
* 01 Monte Carlo (1.30 GB), 01:45:35
* 02 TD Prediction (1.01 GB), 01:20:09
* 09 第九周/
* 01 第8节课补充课1 7月24日/
* 01 Monte Carlo Policy Gradient/
* 01 Monte Carlo Policy Gradient (1.05 GB), 01:37:51
* 02 第8节课补充课2 7月28日/
* 01 PPO/
* 01 Off-policy policy gradient (752.05 MB), 01:02:12
* 02 PPO-01 (1.32 GB), 01:27:23
* 03 PPO-02 (597.50 MB), 43:40
* 10 第十周/
* 01 第9节课 8月4日/
* 01 DPO/
* 01 DPO-Direct Preference Optimization (1.54 GB), 01:38:46
* 02 Beyond DPO Applications of DPO (1.25 GB), 01:17:50
* 11 第十一周/
* 01 第10节课 8月18日/
* 01 More LoRA、IA3、训练技巧/
* 01 More LoRA (1.30 GB), 01:24:07
* 02 IA3、训练技巧 (1.58 GB), 01:32:09
* 12 第十二周/
* 01 第11节课 8月25日/
* 01 LLAMA 3 Technique Report/
* 01 LLAMA 3 Technique Report-01 (1.80 GB), 01:45:42
* 02 LLAMA 3 Technique Report-02 (1.06 GB), 01:10:14
* 13 第十三周/
* 01 第12节课 9月1日/
* 01 Flash Attention ZeRO/
* 01 LLAMA 3 Technique Report Cont (1.60 GB), 02:00:38
* 02 Flash Attention ZeRO (1.07 GB), 01:10:22
* 14 第十四周/
* 01 第13节课 9月8日/
* 01 Lifelong Learning/
* 01 Zero (1.39 GB), 01:27:30
* 02 Lifelong Learning (1.58 GB), 01:35:10
* 课件资料/
* 课件资料.zip (1.04 GB)
