这门课解决什么问题:让通用大模型听懂你的垂直业务

很多团队在接入大语言模型时,都会撞到同一堵墙:通用模型答得宽泛,一碰到公司内部的专业术语、特定格式要求或私有业务数据,就开始“一本正经地胡说八道”。这门课解决的核心场景就是——如何用你自己的业务数据,对一个开源底座大模型进行指令微调,让它从一个“什么都懂一点的通才”变成一个“只解决你这摊事儿的专才”。它不教你从零手搓千亿参数,而是聚焦在工程上最具性价比的环节:怎么准备数据、怎么跑通微调脚本、怎么让模型按你的规矩说话。

适合什么基础与建议先看哪几块

这套资料不适合零基础。你需要有 Python 编程底子,看得懂基本的 PyTorch 代码,最好之前用过 Hugging Face Transformers 调过现成模型。如果是纯前端或完全没碰过深度学习的转行者,直接看代码解读会非常吃力。建议拿到资料后,先不要急着跑后面的复杂项目,优先看第一阶段基于 Stanford Alpaca 的这部分。这块用 Self-Instruct 思路对 LLaMA 7B 做微调,是理解“指令数据怎么生成、怎么喂给模型”的最好敲门砖。把这里的代码逻辑捋顺了,知道每一条问答数据是怎么变成模型输入张量的,后面再看其他微调框架就会非常轻松。

学完能独立做什么与资料怎么配合练习

跟着这套实战走完,你能独立完成一个垂直大模型微调项目的闭环:从清洗原始业务语料、构造指令微调数据集,到配置环境跑通训练脚本,最后拿到一个能在本地或服务器上部署推理的专属模型权重。比如你要做一个懂公司产品手册的客服问答,或者一个能按固定格式提取合同要素的文本处理工具,学完就能自己动手做。练习时,不要干看视频。建议按一周一个阶段的节奏,先跟着资料里的代码解读把 Alpaca 的微调流程跑通,哪怕只用几百条小数据集,也要在机器上看到 loss 下降。然后,把资料里的英文示例语料,换成你自己工作里的真实中文文档,自己写几条 Self-Instruct 的种子指令,亲手跑一次微调。只有自己造的数据跑出效果,才算真正把这门技术变成了你手里的活儿。


AI算法工程师:想掌握大模型微调技术,提升模型在特定场景下的性能,增强项目竞争力。 NLP研究者:致力于自然语言处理领域,希望通过微调让类ChatGPT模型更好地适配专业任务。 企业技术负责人:计划在企业内部部署定制化类ChatGPT模型,解决业务痛点,提高工作效率。 AI创业者:想基于类ChatGPT模型开发垂直领域应用,如客服机器人、专业问答系统等,抢占市场先机。 技术爱好者:对大模型微调充满好奇,渴望亲手操作从数据准备到模型部署的全流程,积累实战经验。

课程目录

*   01 第一阶段 Stanford Alpaca:结合英文语料通过Self Instruct方式微调LLaMA 7B/

  *   01 第1课 Standford Alpaca的介绍 (39.75 MB), 17:50

  *   02 第2课 self-instruct的代码解读 (51.71 MB), 15:47

  *   03 第3课 Alpaca 7B的微调过程 (37.82 MB), 11:22

  *   04 第4课 self-instruct代码的详细过程 (48.33 MB), 11:08

  *   05 第5课 Standford Alpaca微调代码拆解:微调方式 (19.25 MB), 08:06

  *   06 第6课 Standford Alpaca微调代码拆解:train.py解读 (34.80 MB), 09:18

  *   07 第7课 垂直领域微调的方式 (11.82 MB), 05:09

  *   08 第8课 Huggingface的Transformers库 (36.41 MB), 09:41

  *   09 第9课 Alpaca-LoRA:消费级显卡上的Lora微调 (33.26 MB), 10:03

  *   10 第10课 DeepSpeed-Chat的LoRA源码解读 (41.27 MB), 09:26

  *   11 第11课 基于Huggingface的Peft框架的Lora微调方式 (26.68 MB), 05:33

  *   12 第12课 Alpaca所用的self-instruct的影响力 (15.67 MB), 06:42

  *   13 第13课 Alpaca-LoRA微调过程 (83.20 MB), 18:41

*   02 第二阶段 LLaMA 2的技术架构精要/

  *   01 第1课 LLaMA2 相比LLaMA1 的改进 (19.18 MB), 07:40

  *   02 第2课 LLaMA2 的分组查询注意力(GQA) (28.23 MB), 07:58

  *   03 第3课 LLaMA2-Chat中的RLHF:三阶段训练方式 (37.54 MB), 12:00

*   03 第三阶段 ChatGLM-6B推理与微调过程/

  *   01 第1课 ChatGLM-6B的数据处理及文件准备 (58.70 MB), 19:19

  *   02 第2课 ChatGLM-6B的部署及微调过程 (66.30 MB), 16:40

*   04 第四阶段 LLM微调方法总结:Freeze方法P-TuningLoRA及QLoRA uning与prompt tuning方法/

  *   01 第1课 微调方法—Freeze方法 (11.61 MB), 04:54

  *   02 第2课 微调方法—prefix-t (31.58 MB), 11:00

  *   03 第3课 微调方法—P-tuning V1方法 (18.72 MB), 08:16

  *   04 第4课 微调方法—P-tuning V2方法 (22.78 MB), 06:12

  *   05 第5课 微调方法—Lora方法 (31.97 MB), 11:31

  *   06 第6课 微调方法—QLora方法 (43.36 MB), 13:57

  *   07 第7课 LLM微调经验分享 (22.90 MB), 03:48

*   05 第五阶段 ChatGLM2-6B推理部署及微调过程/

  *   01 第1课 评估基准C-EVAL及ChatGLM2-6B的改进 (29.85 MB), 08:29

  *   02 第2课 ChatGLM2-6B的部署推理过程 (28.58 MB), 08:49

  *   03 第3课 基于P-Tuning V2微调ChatGLM2-6B (77.01 MB), 16:39

*   06 第六阶段 阿里通义千问Qwen-7B的原理及ReAct用法/

  *   01 第1课 通义千问—Qwen-7B模型的特点 (41.38 MB), 09:26

  *   02 第2课 Qwen-7B-Chat模型的微调数据构成 (11.78 MB), 04:36

  *   03 第3课 Qwen-7B-Chat模型的ReAct Prompting (10.15 MB), 03:32

  *   04 第4课 ReAct代码示例 (107.96 MB), 18:10