人工精选【限时0.1秒杀】国内主流LLM微调实战特训
这门课解决什么工作场景 大语言模型火起来后,很多团队都在想怎么把开源模型真正用到自己的业务里。直接调通用 API 往往答非所问,数据隐私也没保障,于是对开源基座做微调成了刚需。这门课聚焦的就是这个环节:拿国内主流的开源模型(ChatGLM、Baichuan、通义千问等)当底子,讲清楚怎么改结构、怎么
会员 · 按档位
游客按标价购买,不享受上表折扣。
支付成功后自动发放网盘链接,链接失效可找客服免费补
这门课解决什么工作场景
大语言模型火起来后,很多团队都在想怎么把开源模型真正用到自己的业务里。直接调通用 API 往往答非所问,数据隐私也没保障,于是对开源基座做微调成了刚需。这门课聚焦的就是这个环节:拿国内主流的开源模型(ChatGLM、Baichuan、通义千问等)当底子,讲清楚怎么改结构、怎么准备数据、怎么跑通微调、怎么部署上线。它解决的不是"怎么用大模型聊天",而是"怎么让大模型在你自己的语料上变聪明"。如果你手头有垂直领域的语料,想做一个专属问答机器人或者业务辅助工具,这门课的内容正好覆盖从底座到落地的关键链路。
适合什么基础,学完能独立做什么
这课不是零基础科普,默认你得有 Python 基础,最好碰过 PyTorch 或至少写过简单的训练脚本,懂一点张量操作和模型加载逻辑。纯前端或纯运营背景的人直接看会比较吃力,建议先补一下深度学习的基本概念再来看。课程前半部分会拆解模型内部结构,包括旋转位置编码、自注意力机制这些底层实现,所以你得耐得住看源码。学完之后,你应该能独立完成这几件事:选一个合适的开源基座,把私有数据整理成训练需要的格式,用 Freeze、P-Tuning 或 LoRA 等方法做参数微调,最后把微调好的模型部署起来跑推理。简单说,就是拿到一份新语料,你能自己走通"数据准备→微调训练→推理部署"这条完整链路,不用再依赖别人现成的脚本。
建议先看哪几块,资料怎么配合练习
拿到资料后别从头按顺序啃,建议先跳到数据处理和部署微调那几节,把整体流程跑通一遍,哪怕模型效果一般,先让代码能跑起来比什么都重要。跑通之后,再回头看前面拆解模型结构的部分,这时候你会更清楚每一步在改什么。练习的时候最好准备一台有显卡的机器,显存不用太大,6B 级别的模型用量化手段在消费级显卡上也能跑。语料方面,先用课程里给的示例数据集走通流程,确认每一步的输入输出格式都对,再换成你自己的真实业务数据。微调方法上,建议从轻量级的方法入手,比如只调部分参数的方案,跑通后再试更复杂的。遇到训练不收敛或者效果差的情况,重点检查数据格式和分布,这往往是新手最容易踩的坑,而不是模型本身的问题。
第一阶段 ChatGLM-6B的基座、部署、微调、实现第二阶段 基于MOSS、baichuan7B/13B、ChatGLM2-6B的结构与微调第三阶段 阿里通义
课程目录
* 第一阶段 ChatGLM-6B的基座、部署、微调、实现/
* 第1课 GLM的结构及特点
* 第2课 ChatGLM-6B的训练框架
* 第3课 ChatGLM-6B的部署及微调
* 第4课 ChatGLM-6B编码器/GLEU/旋转位置编码的实现
* 第5课 ChatGLM-6B自注意力机制的实现(上)
* 第6课 ChatGLM-6B自注意力机制的实现(下)
* 第7课 SelfAttention类及GLMBlock类的相关方法
* 第8课 ChatGLM-6B模型的推理/部署/微调
* 第9课 ChatGLM-6B的数据处理及文件准备
* 第10课 ChatGLM-6B的部署及微调过程
* 第11课 微调方法—Freeze方法
* 第12课 微调方法—prefix-tuning与prompt tuning方法
* 第13课 微调方法—P-tuning V1方法
* 第14课 微调方法—P-tuning V2方法
* 第15课 微调方法—Lora方法
* 第16课 微调方法—QLora方法
* 第17课 LLM微调经验分享
* 第二阶段 基于MOSS、baichuan7B/13B、ChatGLM2-6B的结构与微调/
* 第1课 中文大模型—复旦MOSS模型
* 第2课 Baichuan-7B模型的特点及微调
* 第3课 Baichuan-13B模型的特点及微调
* 第4课 ChatGLM2-6B模型的改进及FlashAttention技术
* 第5课 多查询注意力(MQA)技术
* 第6课 ChatGLM2-6B模型的部署及微调
* 第7课 LLM中英文评测基准及Baichuan-7B的推理
* 第8课 使用QLora方法微调Baichuan-7B的流程
* 第9课 Baichuan-7B微调代码解读及推理效果
* 第10课 Baichuan-13B的特点及效果
* 第11课 Baichuan-13B的推理
* 第12课 基于LoRA微调Baichuan-13B-Chat过程(单轮)
* 第13课 使用微调后的模型进行推理相关问题
* 第14课 基于QLoRA微调Baichuan-13B-Base过程(多轮)
* 第15课 评估基准C-EVAL及ChatGLM2-6B的改进
* 第16课 ChatGLM2-6B的部署推理过程
* 第17课 基于P-Tuning V2微调ChatGLM2-6B
* 第三阶段 阿里通义千问Qwen-7B的原理及ReAct用法/
* 第1课 通义千问—Qwen-7B模型的特点
* 第2课 Qwen-7B-Chat模型的微调数据构成
* 第3课 Qwen-7B-Chat模型的ReAct Prompting
* 第4课 ReAct代码示例





