为什么先补数学

大模型训练与调优，表面是代码，底层是数学。很多工程师只会调用现成接口，一旦遇到显存爆炸、Loss 不收敛、梯度消失或数值溢出，就无从下手排查。这门课程专门补齐这块短板。它从导数的几何含义讲起，推导梯度下降公式，再延伸到牛顿法、拟牛顿法以及拉格朗日对偶和 KKT 条件。这些理论并非纯学术，而是直接对应模型训练中最核心的优化问题。

适合谁学

课程面向有一定编程基础，但数学直觉较弱的程序员或转行者。不需要你是数学专业出身，只要能看懂基本代码逻辑即可。前置知识建议掌握 Python 基础和线性代数基本概念，如向量、矩阵运算。如果你完全没碰过代码，建议先补齐编程基础；如果你数学底子很好，可以直接跳过部分推导，重点看代码演示部分。

建议学习顺序

先从单变量微积分入手，理解导数与函数单调性的关系，掌握泰勒展开的近似思想。接着进入多元微积分，搞懂偏导数、Hessian 矩阵以及极值判定法则。这一步是后续理解梯度下降的关键。随后学习线性代数中的矩阵分解，特别是特征值分解和 SVD，这在协同过滤和降维中很常用。最后集中攻克最优化理论，重点看牛顿法求解方程的原理及其代码实现，以及凸优化和 KKT 条件，这是理解现代深度学习框架优化器的基础。

学完能做什么

完成学习后，你不再只是参数调包侠。面对训练异常，你能判断是学习率设置不当还是陷入了局部最优；阅读论文时，你能看懂作者提出的改进算法背后的数学动机；调试自定义 Loss 函数时，你能手动推导梯度以确保反向传播的正确性。这种能力在面试和大厂实际工程中极具竞争力。

资料如何配合练习

课程包含详细的原理讲解视频和代码演示。建议采用“推倒公式再动手”的策略。先看原理视频，跟着老师手写一遍梯度推导过程，不要只看不动笔。紧接着观看对应的代码演示课时，在本地环境复现牛顿法和梯度下降的求解过程。通过对比理论推导与代码实现，真正理解算法边界。课后尝试修改代码中的超参数，观察收敛速度的变化，这是掌握最优化算法最有效的方式。

课程目录

📁 msb-AI大模型工程师
📁 课时19 程序员的数学 NO.819.1590
课时64 5-牛顿法解方程原理_ev【公重号：CunWorkNotes】.mp4 [12.4 MB]
课时03 1-3-导数的几何与物理含义_ev.mp4 [5.0 MB]
课时46 8-二次型_ev【公重号：CunWorkNotes】.mp4 [23.7 MB]
课时62 3-梯度下降公式推导_ev.mp4 [26.5 MB]
课时55 9-随机向量_ev【公重号：CunWorkNotes】.mp4 [4.7 MB]
课时67 8-牛顿法求解最优化代码演示_ev.mp4 [33.0 MB]
课时12 1-12-极值定理_ev【公重号：CunWorkNotes】.mp4 [5.2 MB]
课时11 1-11-导数与函数单调性_ev【公重号：CunWorkNotes】.mp4 [2.8 MB]
课时23 2-9-逆矩阵_ev【公重号：CunWorkNotes】.mp4 [20.8 MB]
课时73 14-凸函数_ev.mp4 [6.3 MB]
课时41 3-高阶偏导数_ev.mp4 [4.9 MB]
课时70 11-最优化算法瓶颈_ev【公重号：CunWorkNotes】.mp4 [12.4 MB]
课时53 7-方差_ev.mp4 [16.7 MB]
课时77 18-拉格朗日对偶_ev【公重号：CunWorkNotes】.mp4 [36.8 MB]
课时58 12-机器学习中常见分布_ev【公重号：CunWorkNotes】.mp4 [4.9 MB]
课时27 2-满秩矩阵_ev.mp4 [11.3 MB]
课时01 1-1-导数定义与作用_ev.mp4 [7.9 MB]
课时14 1-14-一元函数泰勒展开_ev.mp4 [15.7 MB]
课时40 2-偏导数_ev.mp4 [4.7 MB]
课时65 6-牛顿法解方程代码演示_ev.mp4 [22.9 MB]
课时39 1-多元函数定义_ev.mp4 [4.0 MB]
课时38 13-SVD进行协同过滤_ev.mp4 [16.8 MB]
课时50 4-随机事件独立性_ev【公重号：CunWorkNotes】.mp4 [2.9 MB]
课时24 2-10-行列式_ev.mp4 [12.4 MB]
课时10 1-10-高阶导数_ev.mp4 [2.3 MB]
课时16 2-2-行向量列向量_ev.mp4 [3.9 MB]
课时57 11-协方差_ev【公重号：CunWorkNotes】.mp4 [18.7 MB]
课时56 10-随机变量独立性_ev.mp4 [3.4 MB]
课时68 9-拟牛顿法介绍_ev【公重号：CunWorkNotes】.mp4 [14.2 MB]
课时60 1-最优化概念_ev.mp4 [12.1 MB]
课时45 7-极值判定法则_ev.mp4 [26.4 MB]
课时61 2-求导与迭代求解_ev.mp4 [13.2 MB]
课时25 2-11-伴随矩阵_ev.mp4 [38.2 MB]
课时29 4-特征值分解定义与操作_ev.mp4 [18.7 MB]
课时44 6-Hessian矩阵_ev.mp4 [13.8 MB]
课时72 13-凸集_ev.mp4 [5.3 MB]
课时15 2-1-向量是什么_ev.mp4 [10.7 MB]
课时76 17-KKT条件_ev.mp4 [10.8 MB]
课时34 9-奇异值分解性质_ev.mp4 [19.4 MB]
课时20 2-6-矩阵是什么_ev.mp4 [4.4 MB]
课时37 12-SVD进行矩阵求逆_ev.mp4 [30.4 MB]
课时05 1-5-导数四则运算_ev.mp4 [6.2 MB]
课时51 5-随机变量_ev.mp4 [36.3 MB]
课时02 1-2-左右导数与可导函数_ev.mp4 [11.2 MB]
课时54 8-数学期望与方差重要公式_ev.mp4 [13.1 MB]
课时21 2-7-常见矩阵_ev.mp4 [6.6 MB]
课时28 3-特征值和行列式_ev.mp4 [10.9 MB]
课时59 13-最大似然估计_ev.mp4 [11.4 MB]
课时43 5-雅可比矩阵_ev.mp4 [11.5 MB]
课时33 8-求解奇异值分解（SVD）_ev.mp4 [34.7 MB]
课时26 1-特征值与特征向量概念_ev.mp4 [36.9 MB]
课时63 4-梯度下降代码演示_ev.mp4 [57.3 MB]
课时07 1-7-神经网络激活函数Sigmoid求导_ev.mp4 [8.7 MB]
课时52 6-期望_ev.mp4 [11.4 MB]
课时75 16-拉格朗日乘子法_ev.mp4 [14.7 MB]
课时13 1-13-函数凹凸性_ev.mp4 [10.0 MB]
课时69 10-坐标下降法_ev.mp4 [6.8 MB]
课时31 6-向量和矩阵求导公式_ev.mp4 [9.5 MB]
课时08 1-8-神经网络激活函数Tanh求导_ev.mp4 [4.4 MB]
课时17 3-向量运算_ev.mp4 [7.7 MB]
课时19 2-5-特殊向量_ev.mp4 [5.6 MB]
课时42 4-梯度_ev.mp4 [7.3 MB]
课时35 10-SVD进行数据压缩_ev.mp4 [14.0 MB]
课时48 2-随机事件_ev.mp4 [8.4 MB]
课时06 1-6-复合函数求导法则_ev.mp4 [3.8 MB]
课时47 1-概率论与机器学习_ev.mp4 [5.2 MB]
课时18 2-4-向量的范数_ev.mp4 [19.1 MB]
课时32 7-奇异值分解（SVD）_ev.mp4 [30.0 MB]
课时66 7-牛顿法求解最优化问题_ev.mp4 [22.4 MB]
课时09 1-9-神经网络激活函数Softmax求导_ev.mp4 [20.3 MB]
课时36 11-SVD进行PCA降维_ev.mp4 [28.1 MB]
课时71 12-凸优化问题_ev.mp4 [3.5 MB]
课时49 3-条件概率_ev.mp4 [13.2 MB]
课时30 5-特征值分解意义_ev.mp4 [11.5 MB]
课时22 2-8-矩阵运算_ev.mp4 [13.6 MB]
课时74 15-凸优化表达形式_ev.mp4 [6.3 MB]
课时04 1-4-导数求导公式_ev.mp4 [8.4 MB]
📁 课时10 大模型 LLaMA 深度解析 NO.2699
课时06 06_深入理解归一化对于大模型的重要性_ev【公重号：CunWorkNotes】.mp4 [21.9 MB]
课时19 19_代码实战之提前计算RoPE需要的mθ_ev【公重号：CunWorkNotes】.mp4 [42.0 MB]
课时43 43_基于TopP的随机采样_ev【公重号：CunWorkNotes】.mp4 [13.7 MB]
课时02 02_训练LLaMA使用的数据集_ev.mp4 [38.0 MB]
课时37 37_什么是推理的策略_ev.mp4 [10.7 MB]
课时12 12_RoPE_ev.mp4 [39.3 MB]
课时42 42_基于TopK的随机采样_ev.mp4 [8.7 MB]
课时11 11_相对位置编码_ev.mp4 [26.8 MB]
课时35 35_代码实战之模型生成与解码得到response文本_ev【公重号：CunWorkNotes】.mp4 [45.3 MB]
课时10 10_绝对位置编码_ev.mp4 [14.9 MB]
课时30 30_代码实战之加载checkpoint文件_ev.mp4 [35.3 MB]
课时44 44_代码实战之增加TopP采样策略_ev.mp4 [40.2 MB]
课时45 45_代码实战之测试TopP采样策略_ev.mp4 [39.1 MB]
课时07 07_BatchNorm_ev.mp4 [10.7 MB]
课时09 09_RMSNorm_ev.mp4 [24.9 MB]
课时20 20_代码实战之将x按照2个值一组进行分组_ev.mp4 [25.5 MB]
课时05 05_为什么要去进行归一化_ev.mp4 [24.8 MB]
课时32 32_代码实战之测试模型加载_ev.mp4 [19.8 MB]
课时14 14_语言模型的本质与MaskedSelfAttention_ev【公重号：CunWorkNotes】.mp4 [21.2 MB]
课时33 33_代码实战之模型推理预测_ev.mp4 [20.9 MB]
课时28 28_代码实战之计算FFN中隐藏层节点数量_ev【公重号：CunWorkNotes】.mp4 [23.5 MB]
课时15 15_KVcache是如何计算提高效率的_ev.mp4 [18.0 MB]
课时25 25_代码实战之SelfAttention中应用RoPE和对KV进行缓存_ev.mp4 [24.4 MB]
课时34 34_代码实战之准备模型推理需要的输入tokens张量_ev.mp4 [54.2 MB]
课时01 01_LLaMA概述_ev.mp4 [22.3 MB]
课时17 17_代码实战之ModelArgs_ev.mp4 [22.9 MB]
课时24 24_代码实战之SelfAttention类的初始化_ev.mp4 [27.1 MB]
课时03 03_LLaMA大模型整体架构_ev.mp4 [37.2 MB]
课时13 13_SwiGLU_ev.mp4 [30.8 MB]
课时41 41_RandomSampling_ev.mp4 [4.1 MB]
课时16 16_MQA和GQA_ev.mp4 [25.0 MB]
课时31 31_代码实战之加载分词器、model模型及模型参数_ev.mp4 [34.1 MB]
课时26 26_代码实战之应用公式计算SelfAttention_ev.mp4 [31.9 MB]
课时36 36_代码实战之运行结果展示_ev.mp4 [22.2 MB]
课程资料.exe [2.3 MB]
课时21 21_代码实战之对token的向量应用旋转矩阵_ev.mp4 [35.4 MB]
课时08 08_LayerNorm_ev.mp4 [18.1 MB]
课时27 27_代码实战之为了实现GQA需要对KV进行拷贝_ev.mp4 [23.8 MB]
课时04 04_InputEmbedding模块_ev.mp4 [25.7 MB]
课时23 23_代码实战之EncoderBlock_ev.mp4 [22.4 MB]
课时39 39_BeamSearch_ev.mp4 [15.7 MB]
课时38 38_GreedySearch_ev.mp4 [8.8 MB]
课时18 18_代码实战之构建Transformer_ev.mp4 [46.7 MB]
课时22 22_代码实战之RMSNorm_ev.mp4 [23.0 MB]
课时29 29_代码实战之FFN中三个矩阵以及SwishGLU的运算实现_ev.mp4 [14.2 MB]
课时40 40_Temperature_ev.mp4 [13.3 MB]
📁 课时22 深度学习基础 NO.789.1567
课时01 01 深度学习介绍_ev.mp4 [74.8 MB]
课时03 03 浅层神经网络_ev.mp4 [75.9 MB]
课时04 04 深层神经网络_ev.mp4 [12.1 MB]
课时02 02 神经网络的基础_ev.mp4 [58.3 MB]
📁 课时25 PyTorch深度学习框架 NO.515.1381
课时20 03 数据增强_ev.mp4 [51.1 MB]
课时12 05 封装_ev【公重号：CunWorkNotes】.mp4 [36.0 MB]
课时03 03 pytorch张量基础操作和基础运算_ev.mp4 [76.7 MB]
课时14 01 4种天气数据处理_ev.mp4 [68.8 MB]
课时09 02 使用dataset重构代码_ev.mp4 [15.0 MB]
课时06 02 pytorch实现线性回归封装写法_ev.mp4 [28.4 MB]
课时21 01 模型参数保存_ev.mp4 [101.5 MB]
课时01 01 pytorch介绍_ev.mp4 [18.9 MB]
课时23 03 自定义数据集问题解决_ev.mp4 [185.5 MB]
课时02 02 pytorch安装_ev.mp4 [30.3 MB]
课时22 02 自定义dataset_ev.mp4 [104.2 MB]
课时11 04 添加校验代码_ev.mp4 [39.9 MB]
课时17 04 添加BN层_ev.mp4 [54.8 MB]
课时10 03 使用DataLoader重构代码_ev.mp4 [10.7 MB]
课时04 04 pytorch自动微分_ev.mp4 [42.4 MB]
课时05 01 pytorch实现原始线性回归_ev.mp4 [69.5 MB]
课时18 01 vgg16迁移学习_ev.mp4 [53.0 MB]
课时24 tensorboard的使用_ev.mp4 [56.5 MB]
课时13 01 使用pytorch搭建cnn实现手写数字识别_ev.mp4 [127.8 MB]
课时07 03 pytorch实现分类问题_ev.mp4 [36.0 MB]
课时16 03 添加dropout层_ev.mp4 [71.8 MB]
课时15 02 图片预处理_ev.mp4 [35.2 MB]
课时19 02 学习率衰减_ev.mp4 [38.5 MB]
课时08 01 模型的子类写法_ev.mp4 [66.1 MB]
📁 课时05 基于OpenAI的 大模型开发与实战 NO.2690
课时09 27郭德纲相声的英文版_ev.mp4 [63.1 MB]
课程资料【公重号：CunWorkNotes】.exe [17.9 MB]
课时03 21构建一个AI助手(三)_ev.mp4 [42.1 MB]
课时04 22GPT模型输入图片(一)_ev.mp4 [49.5 MB]
课时08 26给李云龙配音_ev.mp4 [38.8 MB]
课时05 23GPT模型输入图片(二)_ev.mp4 [71.0 MB]
课时02 20构建一个AI助手(二)_ev.mp4 [74.2 MB]
课时06 24生成图片的实战案例(一)_ev.mp4 [28.8 MB]
课时01 19构建一个AI助手(一)_ev.mp4 [38.9 MB]
课时07 25生成图片的实战案例(二)_ev.mp4 [56.7 MB]
📁 课时08 大模型应用开发框架LangChain NO.2650
课时31 31实现文本分类(二)_ev.mp4 [22.4 MB]
课时29 29生成结构化的数据(二)_ev.mp4 [33.1 MB]
课程资料【公重号：CunWorkNotes】.exe [10.0 MB]
课时09 09流式输出的处理_ev【公重号：CunWorkNotes】.mp4 [25.6 MB]
课时22 22加载向量数据库并测试(2)_ev.mp4 [34.7 MB]
课时01 01Langchain是什么_ev.mp4 [26.4 MB]
课时26 26提取多个对象_ev【公重号：CunWorkNotes】.mp4 [22.8 MB]
课时02 02Langchain的核心_ev【公重号：CunWorkNotes】.mp4 [17.5 MB]
课时04 04Langchain的环境和监控_ev.mp4 [33.2 MB]
课时11 11检索器和模型结合_ev【公重号：CunWorkNotes】.mp4 [27.1 MB]
课时13 13Agent代理的使用_ev.mp4 [44.3 MB]
课时25 25提取和输出结构化数据_ev.mp4 [38.5 MB]
课时24 24根据检索条件去执行_ev.mp4 [35.3 MB]
课时10 10构建文档和向量空间_ev.mp4 [49.2 MB]
课时05 05采用Langtain调用LLM_ev.mp4 [43.1 MB]
课时17 17Langchain读取数据库_ev.mp4 [42.4 MB]
课时33 33文本自动摘要Stuff方式_ev.mp4 [57.2 MB]
课时32 32文本自动摘要的三种方式_ev.mp4 [17.7 MB]
课时15 15构建RAG问答应用(二)_ev.mp4 [59.3 MB]
课时21 21执行代码并保存向量数据库_ev.mp4 [15.0 MB]
课时30 30实现文本分类(一)_ev.mp4 [52.3 MB]
课时03 03Langchain的底层原理_ev.mp4 [15.1 MB]
课时18 18Langchain和数据库整合_ev.mp4 [67.1 MB]
课时07 07部署你的langchain程序_ev.mp4 [36.0 MB]
课时35 35文本自动摘要MapReduce(二)_ev.mp4 [65.0 MB]
课时34 34文本自动摘要MapReduce(一)_ev.mp4 [35.0 MB]
课时23 23定义数据模型得到检索指令_ev.mp4 [35.7 MB]
课时08 08LangChain构建聊天机器人_ev.mp4 [41.3 MB]
课时27 27生成一些文本数据_ev.mp4 [36.0 MB]
课时19 19Agent整合数据库_ev.mp4 [50.1 MB]
课时14 14构建RAG对话应用(一)_ev.mp4 [96.1 MB]
课时16 16构建RAG问答应用(三)_ev.mp4 [92.2 MB]
… 其余 509 项略，目录共 709 项