人工精选极客时间AI大模型微调训练营第5期(极客)
这门课解决什么问题:从“调参小白”到能落地的微调工程师 大模型时代,通用模型往往无法满足企业私有化部署或特定垂直场景的需求。直接全量微调成本高昂,多数从业者卡在“懂原理但不会动手”的尴尬境地。本课程聚焦于**高效微调技术(PEFT)与实战落地**,核心解决两个痛点:一是如何用最低显存成本(如 LoR
会员可免费下载本篇月会员可免费领取。
开通会员 ›会员 · 按档位
游客按标价购买,不享受上表折扣。
支付成功后自动发放网盘链接,链接失效可找客服免费补
这门课解决什么问题:从“调参小白”到能落地的微调工程师
大模型时代,通用模型往往无法满足企业私有化部署或特定垂直场景的需求。直接全量微调成本高昂,多数从业者卡在“懂原理但不会动手”的尴尬境地。本课程聚焦于**高效微调技术(PEFT)与实战落地**,核心解决两个痛点:一是如何用最低显存成本(如 LoRA、QLoRA)对千亿参数模型进行适配;二是如何构建高质量的合成数据来训练私有模型。它不是泛泛的理论科普,而是针对 AI 应用工程师岗位的技能强化,旨在让你具备独立搭建微调流水线、解决 OOM(显存溢出)问题以及优化模型推理性能的能力。
适合什么基础:建议先看哪几块
本课程门槛中等偏上,要求读者具备 Python 编程基础及 PyTorch 框架的基本认知,了解 Transformer 架构者更佳。若你完全没有 NLP 背景,建议先补充第 2 章关于 GPT-1/BERT/Transformer 演进的基础内容,建立完整的知识图谱后再进入实战环节。
对于已有基础的开发者,无需从头到尾线性学习。**建议优先攻克以下核心模块**:首先是第 7 章,深入理解 Hugging Face PEFT 库的工作原理,这是当前工业界微调的主流工具链;其次是第 10 章,学习如何利用 LangChain 和 ChatGPT 生成训练数据,这是微调效果的关键前置步骤;最后是第 16 章(如有涉及最新架构),跟进混合专家模型(MoE)等前沿技术,如第 12 章对 Mixtral-8x7B 的解析,以拓宽技术视野。这些章节构成了从数据准备到模型优化的完整闭环。
学完能独立做什么 & 资料配合建议
完成学习后,你将能够独立完成私有数据的微调任务。具体表现为:能够基于 ChatGLM3、LLaMA 等开源基座,使用 PEFT 技术在消费级显卡(如单卡 24GB)上完成领域适配;能够设计 Prompt 自动批量生成训练样本,解决小样本微调中的数据枯竭问题;能够针对语音识别(如 Whisper)或多模态场景进行专项微调训练。
资料包中包含详细的 PDF 课件与高清视频,建议采取“课件先行,视频深化”的策略。PDF 文档涵盖了论文解读与技术细节图解,适合作为案头查阅的工具书;视频部分则侧重于代码演示与环境配置,建议在实操时跟随视频逐步跑通 Colab 或本地环境。请务必重视每章的作业(txt 文件),这是检验你是否真正掌握技巧的唯一标准,切勿只看不练。
课程目录
课件6 集
- 7-大模型高效微调工具HF PEFT 入门与实战.pdf [4.9 MB]
- 2. Hugging Face PEFT 快速入门_ev【公众号:CunWorkNotes】.mp4 [58.0 MB]
- 4. 实战 LoRA 微调 Whisper-Large-v2 中文语音识别_ev.mp4 [233.8 MB]
- 5.作业.txt [556.0 B]
- 3. OpenAI Whisper 模型介绍_ev.mp4 [31.2 MB]
- 1. 章节介绍_ev.mp4 [3.3 MB]
课件6 集
- MoEs论文.zip [7.7 MB]
- 12-混合专家模型(MoEs)技术揭秘.pdf [5.1 MB]
- 4. MoEs 实例研究:Mixtral-8x7B_ev.mp4 [25.8 MB]
- 3. MoEs 与大模型结合后的技术发展_ev.mp4 [98.3 MB]
- 2. MoEs 技术发展简史_ev.mp4 [107.5 MB]
- 1. 章节介绍_ev.mp4 [6.9 MB]
课件8 集
- 10-实战私有数据微调ChatGLM3.pdf [10.2 MB]
- 5. 提示工程:保持批量生成数据稳定性_ev.mp4 [44.2 MB]
- 2. 使用 ChatGPT 自动设计生成训练数据的 Prompt_ev.mp4 [60.6 MB]
- 7.作业.txt [182.0 B]
- 6. 实战私有数据微调 ChatGLM3_ev.mp4 [103.8 MB]
- 4. 数据增强:提升训练数据多样性_ev.mp4 [15.1 MB]
- 1. 章节介绍_ev.mp4 [9.1 MB]
- 3. 合成数据: LangChain + GPT-3.5 Turbo_ev.mp4 [12.6 MB]
课件10 集
- 论文【公众号:CunWorkNotes】.zip [10.0 MB]
- 2-大语言模型技术发展与演进.pdf [17.8 MB]
- 代码链接地址.txt [66.0 B]
- 3. 神经网络语言模型_ev.mp4 [76.4 MB]
- 6. 大语言模型:GPT-1与BERT_ev.mp4 [53.0 MB]
- 4. 大语言模型:注意力机制_ev.mp4 [48.9 MB]
- 7. 大语言模型:暴力美学GPT系列模型_ev.mp4 [44.6 MB]
- 1. 章节介绍_ev.mp4 [42.6 MB]
- 2. 统计语言模型_ev.mp4 [51.2 MB]
- 5. 大语言模型:Transformer网络架构_ev.mp4 [62.3 MB]
课件7 集
- 16-国产化实战:基于华为 Ascend 910 微调 ChatGLM-6B.pdf [8.7 MB]
- 2. 蓝色星球的算力霸主:NVIDIA_ev【公众号:CunWorkNotes】.mp4 [138.1 MB]
- 3. 厚积薄发的江湖大佬:Google_ev.mp4 [19.6 MB]
- 6. 实战:华为 Ascend 910B 微调 ChatGLM 6B 模型_ev.mp4 [57.3 MB]
- 4. 努力追赶的国产新秀:华为_ev.mp4 [17.6 MB]
- 5. 华为昇腾全栈 AI 软硬件平台介绍_ev.mp4 [21.8 MB]
- 1. 章节介绍_ev.mp4 [5.9 MB]
课件6 集
- RLHF论文.zip [6.1 MB]
- 11-ChatGPT大模型训练技术RLHF.pdf [6.9 MB]
- 3. 基于人类反馈的强化学习(RLHF)技术详解_ev.mp4 [91.4 MB]
- 2. ChatGPT 大模型训练核心技术_ev【公众号:CunWorkNotes】.mp4 [93.6 MB]
- 1. 章节介绍_ev.mp4 [13.0 MB]
- 4. 基于 AI 反馈的强化学习(RLAIF)技术_ev.mp4 [18.9 MB]
课件7 集
- 4-实战Transformers模型训练.pdf [5.2 MB]
- 4. 实战训练BERT模型:文本分类任务_ev【公众号:CunWorkNotes】.mp4 [141.3 MB]
- 5. 实战训练BERT模型:QA任务_ev.mp4 [305.5 MB]
- 1. 章节介绍_ev.mp4 [5.3 MB]
- 2. 数据集处理库Hugging Face Datasets_ev.mp4 [48.9 MB]
- 3. Transformers模型训练入门_ev.mp4 [21.4 MB]
- 6.作业.txt [385.0 B]
第17章11 集
- 2. GLM 模型部署微调实践_ev.mp4 [98.9 MB]
- 6. 使用 GLM-4 API 构建模型和应用_ev【公众号:CunWorkNotes】.mp4 [67.0 MB]
- 5. 选学 API 基础教学和实战_ev.mp4 [42.6 MB]
- 3.CogVLM模型部署实践.pdf [2.9 MB]
- 5. 选学 API 基础教学和实战-问题解决方案.txt [436.0 B]
- 4. 选学 智谱第四代 API 介绍_ev.mp4 [7.9 MB]
- 1. GLM 大模型家族介绍_ev.mp4 [60.7 MB]
- 1.GLM大模型家族介绍.pdf [7.4 MB]
- 2.GLM模型部署实践.pdf [2.7 MB]
- 3. CogVLM模型部署实践_ev.mp4 [63.4 MB]
- 4.选学 GLM4 GLM4V API 调用实践.pdf [1.8 MB]
课件9 集
- 1-AI大模型四阶技术总览.pdf [20.7 MB]
- 3. AI应用浪潮:高校共识、硅谷创新、中美博弈_ev【公众号:CunWorkNotes】.mp4 [97.2 MB]
- 5. AI大模型四阶技术总览:提示工程(Prompt Engineering)_ev.mp4 [62.0 MB]
- 1. 章节介绍_ev.mp4 [8.1 MB]
- 8. AI大模型四阶技术总览:预训练技术(Pre-training)_ev.mp4 [21.0 MB]
- 7. AI大模型四阶技术总览:大模型微调(Fine-tuning)_ev.mp4 [42.7 MB]
- 4. 把握浪潮:AI 大模型助力超级个体和小团队_ev.mp4 [18.6 MB]
- 2. AI技术浪潮:弱人工智能、机器学习、深度学习、大语言模型_ev.mp4 [64.4 MB]
- 6. AI大模型四阶技术总览:AI智能体(Agents)_ev.mp4 [51.2 MB]
课件12 集
- 15-大模型分布式训练框架Microsoft DeepSpeed.pdf [8.1 MB]
- 4. Microsoft DeepSpeed 框架和核心技术_ev.mp4 [64.3 MB]
- 5. 分布式模型训练并行化技术对比_ev【公众号:CunWorkNotes】.mp4 [17.3 MB]
- 1. 章节介绍_ev【公众号:CunWorkNotes】.mp4 [5.2 MB]
- 3. Zero Redundancy Optimizer ZeRO技术详解_ev.mp4 [68.2 MB]
- 11. DeepSpeed 创新模块 Inference Compression Science_ev.mp4 [8.4 MB]
- 8. DeepSpeed ZeRO 配置详解_ev.mp4 [52.7 MB]
- 7. DeepSpeed 框架编译与安装_ev.mp4 [56.6 MB]
- 2. 预训练模型显存计算方法_ev.mp4 [50.4 MB]
- 6. DeepSpeed 与 Transformers 集成训练大模型_ev.mp4 [9.6 MB]
- 10. 实战 DeepSpeed ZeRO-2 和 ZeRO-3 单机单卡训练_ev.mp4 [45.3 MB]
- 9. 使用 DeepSpeed 单机多卡、分布式训练_ev.mp4 [8.9 MB]
课件9 集
- Quantization论文.zip [5.6 MB]
- 8-大模型量化技术入门与实战.pdf [6.1 MB]
- 7.作业【公众号:CunWorkNotes】.txt [474.0 B]
- 2. 模型显存占用与量化技术简介_ev.mp4 [34.9 MB]
- 5. BitsAndBytes(BnB) :模型量化软件包_ev.mp4 [15.9 MB]
- 6. 实战 Facebook OPT 模型量化_ev.mp4 [80.8 MB]
- 1. 章节介绍_ev.mp4 [2.6 MB]
- 4. AWQ:激活感知权重量化算法_ev.mp4 [52.9 MB]
- 3. GPTQ:专为 GPT 设计的模型量化算法_ev.mp4 [75.0 MB]
课件5 集
- 14-实战LLaMA2-7B指令微调【公众号:CunWorkNotes】.pdf [3.6 MB]
- 4. 再谈中文指令微调方法_ev.mp4 [19.5 MB]
- 1. 章节介绍_ev.mp4 [11.4 MB]
- 2. 大模型训练技术总结_ev.mp4 [128.1 MB]
- 3. LLaMA2-7B 指令微调上手实战_ev.mp4 [85.8 MB]
课件7 集
- 13-Meta AI 大模型 LLaMA.pdf [8.8 MB]
- LLaMA论文.zip [15.3 MB]
- 1. 章节介绍_ev.mp4 [6.0 MB]
- 3. LLaMA 1 衍生模型大家族_ev.mp4 [90.6 MB]
- 4. LLaMA 2 大模型技术解读_ev.mp4 [28.9 MB]
- 2. LLaMA 1 大模型技术解读_ev.mp4 [112.5 MB]
- 5. 申请和获取 LLaMA 2 模型预训练权重_ev.mp4 [12.8 MB]
直播回放3 集
- 9.26 第三次直播答疑_ev.mp4 [40.0 MB]
- 10.17 第四次直播答疑_ev.mp4 [65.3 MB]
- 8.29 第一次直播答疑_ev.mp4 [109.2 MB]
课件9 集
- 9-GLM 大模型家族与ChatGLM3-6B微调入门.pdf [15.3 MB]
- GLM论文.zip [43.8 MB]
- 4. 对话模型 ChatGLM 系列_ev.mp4 [11.2 MB]
- 2. 基座模型 GLM-130B_ev.mp4 [93.1 MB]
- 5. ChatGLM3-6B 微调入门_ev.mp4 [20.6 MB]
- 6. 实战 QLoRA 微调 ChatGLM3-6B_ev.mp4 [89.0 MB]
- 3. 扩展模型:联网检索、多模态、代码生成_ev.mp4 [44.8 MB]
- 1. 章节介绍_ev.mp4 [4.6 MB]
- 7.作业.txt [179.0 B]
课件7 集
- 6-大模型高效微调技术揭秘(下).pdf [7.6 MB]
- 1. 章节介绍_ev.mp4 [3.7 MB]
- 2. LoRA低秩适配微调技术_ev.mp4 [58.2 MB]
- 3. AdaLoRA自适应权重矩阵微调技术_ev.mp4 [58.0 MB]
- 5. UniPELT:大模型PEFT统一框架_ev.mp4 [20.1 MB]
- 4. QLoRA量化低秩适配微调技术_ev.mp4 [46.5 MB]
- 6. (IA)3:极简主义增量训练方法_ev.mp4 [30.4 MB]
课件9 集
- Fine-tuning论文.zip [16.5 MB]
- 5-大模型高效微调技术揭秘(上).pdf [9.8 MB]
- Instruction-Tuning论文.zip [1.2 MB]
- 2. Before PEFT:Hard Prompt Full Fine-tune_ev.mp4 [52.2 MB]
- 3. PEFT主流技术分类介绍_ev.mp4 [23.0 MB]
- 1. 章节介绍_ev.mp4 [7.0 MB]
- 6. PEFT - Soft Prompt 技术(Prompt Encoder)_ev.mp4 [76.4 MB]
- 4. PEFT - Adapter技术_ev.mp4 [58.0 MB]
- 5. PEFT - Soft Prompt 技术(Task-specific Tuning)_ev.mp4 [95.8 MB]
课件9 集
- 5-大模型开发工具库 HF Transformers.pdf [4.4 MB]
- 2. Hugging Face Transformers快速入门_ev.mp4 [29.9 MB]
- 5. 实战Hugging Face Transformers工具库_ev.mp4 [212.2 MB]
- 3. Transformers核心功能模块_ev.mp4 [46.7 MB]
- 4. 大模型开发环境搭建_ev.mp4 [35.1 MB]
- 6.作业.txt [281.0 B]
- 1. 章节介绍_ev.mp4 [2.6 MB]
- 02-课程表.webp [570.2 KB]
- 01-课前准备.docx [740.2 KB]





