先说清楚:这门微调实战课值不值得学

市面上关于大模型的资料,大多停留在调用现成接口,或者空谈底层原理。这门课的主题聚焦在「大模型微调」的工程化落地,解决的是一个非常具体的痛点:当通用大模型无法满足特定业务需求时,怎么通过微调让它适配垂直场景。如果你目前的工作涉及企业知识库问答、特定领域的文本处理,或者需要让大模型按固定规范输出结构化数据,单纯靠写提示词往往搞不定,微调才是正解。这门课没有把时间耗在泛泛而谈的科普上,而是直接切入参数高效微调的实际操作,探讨如何把技术转化为能跑通的业务应用。它适合有一定 Python 基础、写过简单代码、对深度学习有基本概念的开发者。如果你连基础语法都不熟,建议先补足编程底子再看;如果你已经能在本地跑通微调脚本,这门课能帮你理清工程化落地的完整链路。

内容编排与资料配合练习建议

从资料包的结构来看,课程遵循从底层机制到实操的递进逻辑。建议大家在练习时,不要平铺直叙地从头看到尾,而是带着问题分块消化。第一周的前几节重点拆解了 Transformer 和 Self-Attention 机制,这部分是理解大模型为何能微调的基石。如果你基础薄弱,建议先反复看这块,搞懂注意力权重的计算逻辑,再进入后续的实操。在配合资料练习时,强烈建议自己搭建环境跟着跑一遍。不要只看演示,要尝试用课程提供的数据集做小规模的微调实验,感受不同参数对显存和收敛效果的影响。遇到报错先自己排查,这是积累工程经验必经的过程。把视频里的案例当作参考,重点理解数据预处理和训练参数的设置逻辑。

学完能独立做什么

把这套资料啃完并跟着实操后,你应该能独立完成一个完整的微调项目闭环。具体来说,面对一个具体的业务需求(比如让模型按特定风格生成营销文案,或从非结构化文本中抽取特定字段),你能判断是否需要微调、该选哪种微调方案,然后自己准备指令数据、搭建训练环境、跑通微调流程,并把微调后的模型部署成可调用的接口。你不会再畏惧环境报错和显卡显存不足的问题,而是具备了排查和调优的能力。对于转行或想在职场上增加竞争力的开发者来说,这种能独立交付微调应用的能力,比懂理论却写不出代码要实用得多,也是真正能写进简历的硬核项目经验。


贪心科技大模型微调实战营(应用篇)专为希望将大模型微调技术转化为实际应用的开发者设计。课程摆脱纯理论讲解,以 “技术微调→应用开发→场景落地” 为核心链路,通过贪心科技独家的 “微调 - 应用” 联动案例,帮助学员掌握不同场景下大模型微调的适配方案,让微调后的模型能真正解决企业级业务问题,成为既懂微调技术又能落地应用的复合型人才。

课程目录

*   01 第一周/

  *   01 第一节 2024年1月21日/

    *   01 开营+大模型介绍、Transformer/

      *   01 开营 (382.85 MB), 27:57

      *   02 大模型爆发式发展 (483.15 MB), 38:03

      *   03 大模型是如何炼成的 (324.46 MB), 30:25

      *   04 Transformer的应用 (377.57 MB), 40:40

      *   05 Self-Attention (591.41 MB), 59:41

*   02 第二周/

  *   01 第二节 2024年1月28日/

    *   01 Transformer、Encoder、Advanced/

      *   01 Transformer Part1 (1.06 GB), 01:18:18

      *   02 Transformer Part2 (765.97 MB), 56:06

      *   03 Encoder-based and Decoder Based LLMs (330.68 MB), 25:07

      *   04 Advanced Topics (454.03 MB), 38:04

*   03 第三周/

  *   01 第三节 2024年2月25日/

    *   01 大模型微调概览 Lora微调/

      *   01 大模型微调概览 (1.06 GB), 01:15:45

      *   02 Lora微调-Lora算法 (1011.39 MB), 01:18:34

      *   03 Lora微调-从零实现Lora到Roberta (660.97 MB), 59:39

*   04 第四周/

  *   01 第四节 2024年3月3日/

    *   01 Alpaca、AdaLoRA、QLoRA/

      *   01 Alpaca (1.67 GB), 02:15:37

      *   02 AdaLoRA (1002.96 MB), 01:32:50

      *   03 QLoRA (748.53 MB), 01:08:02

*   05 第五周/

  *   01 第五节 2024年3月17日/

    *   01 Prefix Tuning、Quantization/

      *   01 Prefix Tuning (1012.21 MB), 01:23:44

      *   02 Quantization01 (562.24 MB), 48:56

      *   03 Quantization02 (638.75 MB), 01:00:34

      *   04 Quantization Methos for LLM (214.23 MB), 22:52

*   06 第六周/

  *   01 助教补充课 2024年3月24日/

    *   01 llama介绍&运行&量化&部署&微调/

      *   01 llama介绍&运行&量化&部署&微调01 (569.74 MB), 40:45

      *   02 llama介绍&运行&量化&部署&微调02 (700.91 MB), 50:24

*   07 第七周/

  *   01 第六节 2024年3月31日/

    *   01 Distributed Computing、Flash Attention/

      *   01 GPU时间计算 (574.12 MB), 01:00:06

      *   02 Distributed Computing (449.33 MB), 46:19

      *   03 ZeRO-123 and FSDP (730.53 MB), 01:11:30

      *   04 Flash Attention (442.01 MB), 52:04

*   08 第八周/

  *   01 第六节补充课/

    *   01 Flash Attention cont、微调Mistral 7B/

      *   01 Flash Attention cont (544.96 MB), 54:25

      *   02 Self-Attention的分块计算 (931.89 MB), 01:20:02

      *   03 分块模式中计算O (502.05 MB), 40:17

      *   04 Mixture of Expert Model (142.44 MB), 12:15

      *   05 微调Mistral 7B (697.91 MB), 44:41

*   09 第九周/

  *   01 第七节 2024年4月14日/

    *   01 强化学习/

      *   01 RLHF介绍 (918.79 MB), 01:01:09

      *   02 强化学习 (284.35 MB), 30:23

      *   03 Multi-armed Bandit (619.22 MB), 57:20

      *   04 The goal of Agent (930.31 MB), 01:21:43

*   10 第十周/

  *   01 第七节补充课 2024年4月17日/

    *   01 Optimal Policy、Intro to Monte Carlo/

      *   01 Optimal Policy (716.75 MB), 01:02:24

      *   02 Intro to Monte Carlo (397.81 MB), 32:27

*   课件资料/

  *   课件资料.zip (1.40 GB)