手写大模型：补全底层逻辑，而非仅仅调用 API
对于许多计划深耕人工智能领域的从业者而言，一个普遍的误区是认为熟练使用 Hugging Face 等工具库和调用现成的大模型 API 就等于掌握了 AI 核心。这种“黑盒”式的开发模式在快速原型阶段非常高效，但在模型微调、算力优化或应对极端边缘场景时，往往会陷入无法解释为何模型“这样输出”的困境。本课程的核心价值，在于通过“手写”的方式，从零开始构建一个大型语言模型。它解决的正是“知其然不知其所以然”的问题，迫使学习者直面 Transformer 架构中的注意力机制、位置编码、损失函数计算等底层细节。对于希望在算法底层具备修改能力、能够进行模型定制化开发的高级工程师，或者希望彻底摆脱对框架依赖以理解 AI 本质的转行者来说，这是一份极具针对性的技术补全方案。它不追求短期快速出活的效率，而是强调对神经网络数学原理的直观理解与代码实现能力的深度结合。
零基础起步：数学与代码的双重门槛
虽然课程标题标注为“零基础”，但这并不意味着对学习者没有前置要求。这里的“零基础”是指无需具备已训练好的大模型项目经验，但必须具备扎实的 Python 编程基础，以及对线性代数、概率论和微积分有基本的认知。因为手写模型的过程，本质上是大量数学公式的代码化翻译。如果学习者对矩阵乘法、梯度下降或反向传播算法缺乏概念，直接跟随代码会陷入“照着敲但不懂为何这样写”的低效循环。建议学习者在开始前，先复习一遍 Python 类与实例、NumPy 矩阵运算，以及 PyTorch 张量基本操作。此课程更适合那些已经能独立编写小型深度学习项目（如简单的图像分类器），但卡在无法理解大型语言模型内部机制的中级开发者。它不适合完全没有编程经验或数学基础薄弱的初学者，否则极易因原理晦涩而产生挫败感，导致中途弃坑。
学习路径与实操建议
建议的学习路径应严格遵循“从底层架构到完整模型”的递进逻辑。首先，集中精力攻克 Transformer 的底层模块，重点理解自注意力机制如何通过 Query、Key、Value 向量计算语义关联，以及位置编码如何引入序列顺序信息。不要急于运行完整代码，而是尝试用手写代码实现这些核心组件，并打印中间变量进行数值验证。其次，进入模型组装阶段，将上述模块整合为完整的语言模型，并理解前向传播与反向传播在代码中的具体流向。最后，涉及训练循环的搭建，包括数据批处理、优化器选择与损失函数计算。学完这门课，你能够独立编写一个小型的语言模型训练脚本，具备对模型进行初步微调（Fine-tuning）的动手能力，并能够解释模型在特定 prompt 下产生幻觉或理解偏差的底层原因。资料包中的配套代码与笔记应作为验证工具使用：每当对某段代码原理存疑时，先查看笔记中的推导过程，再对照源码进行调试，而非盲目运行。这种“推导-验证-调试”的闭环练习，才是将课程知识转化为实际工程能力的关键。
大都督周瑜-2026年零基础手写大模型【系统课】
本课程隶属 加密课程 · 周瑜大都督 & 雷丰阳，包含完整课程目录与配套资料，购买后联系客服获取下载方式；会员可直接免费下载。
课程目录
0、环境准备 .sz 100、前沿拓展之DeepSeek之DeepSeek-OCR模型和光学压缩机制 .sz 101、强化学习之基本介绍以及Q-Learning实战 .sz 102、强化学习之秘境寻宝游戏实战 .sz 103、强化学习之DQN算法以及实战 .sz 104、强化学习之REINFORCE算法以及实战 .sz 105、强化学习之A2C算法以及实战 .sz 106、强化学习之PPO算法以及实战 .sz 107、强化学习之GRPO算法以及实战 .sz 108、强化学习之GRPO微调Qwen3实战 .sz 10、数学基础之矩阵形状操作、矩阵运算 .sz 11、PyTorch基础之安装和张量 .sz 12、数学基础之均值、方差、均匀分布、正态分布 .sz 13、PyTorch之张量运算和矩阵运算 .sz 14、PyTorch之矩阵转置和批量乘法 .sz 15、PyTorch之Dataset和DataLoader .sz 16、神经网络之手写最简单的神经网络模型 .sz 17、神经网络之Min-Max归一化和Z-Score标准化 .sz 18、神经网络之Bias偏置 .sz 19、神经网络之误差函数和梯度下降 .sz 1、Python基础之基本数据类型与基本操作 .sz 20、数学基础之导数、偏导、斜率、梯度、链式法则 .sz 21、神经网络之均方误差MSE、SGD、Mini-Batch SGD .sz 22、神经网络之学习率和局部最小值 .sz 23、PyTorch之自动求导机制 .sz 24、PyTorch之模型训练经典框架流程 .sz 25、神经网络之激活函数、Sigmoid、神经元 .sz 26、PyTorch之手写模拟神经网络 .sz 27、神经网络之基于矩阵运算理解神经网络工作机制 .sz 28、神经网络之梯度消失和梯度爆炸 .sz 29、神经网络之ReLU激活函数 .sz 2、Python基础之字符串高级操作 .sz 30、神经网络之网络结构可视化 .sz 31、神经网络实战之图像识别-1 .sz 31、神经网络实战之图像识别-2 .sz 32、激活函数softmax和交叉熵CrossEntropy损失函数 .sz 33、评估集、过拟合、欠拟合、Dropout、全连接层 .sz 34、神经网络实战之股价预测、反归一化-1 .sz 34、神经网络实战之股价预测、反归一化-2 .sz 35、神经网络实战之文本分类实战 .sz 36、（GPU版本）神经网络实战之文本分类实战 .sz 37、感知机、MLP、前馈神经网络、Dense Layer .sz 38、神经网络之Adam优化算法 .sz 39、NLP之Bag-of-Words词袋模型 .sz 3、Python基础之列表高级操作 .sz 40、NLP之余弦相似度和点积相似度 .sz 41、NLP之手写Skip-Gram词向量模型、One-Hot、嵌入层 .sz 42、NLP之手写CBOW词向量模型 .sz 43、NLP之Word2Vec总结 .sz 44、NLP之N-Gram模型实战 .sz 45、NLP之手写RNN循环神经网络 .sz 46、NLP之手写RNN文本生成实战 .sz 47、NLP之温度采样和多项式采样 .sz 48、NLP之PyTorch版RNN文本生成实战 .sz 49、NLP之梯度裁剪 .sz 4、Python基础之元组高级操作 .sz 50、NLP之RNN股价预测实战 .sz 51、NLP之手写GRU门控循环单元 .sz 52、NLP之GRU文本生成实战 .sz 53、NLP之手写LSTM长短期记忆网络 .sz 54、NLP之LSTM文本生成实战 .sz 55、NLP之手写Seq2Seq机器翻译实战 .sz 56、Transformer之手写注意力机制 .sz 57、Transformer之PyTorch实现注意力机制 .sz 58、Transformer之手写多头注意力机制 .sz 59、Transformer之手写位置编码机制 .sz 5、Python基础之字典高级操作 .sz 60、Transformer之手写Encoder、残差连接、层归一化 .sz 61、Transformer之手写掩码多头注意力机制 .sz 62、Transformer之手写Decoder、Cross注意力机制 .sz 63、Transformer之手写整个Transformer架构 .sz 64、Transformer之手写版Transformer机器翻译实战 .sz 65、Transformer之PyTorch版Transformer机器翻译实战 .sz 66、Transformer之PyTorch版Transformer古诗生成实战 .sz 67、大模型之手写BERT模型MLM和NSP数据处理过程 .sz 68、大模型之手写BERT模型以及预训练过程 .sz 69、大模型之基于BERT做文本分类实战 .sz 6、Python基础之集合高级操作 .sz 70、大模型之手写GPT以及预训练GPT实战 .sz 71、大模型之预训练诗词GPT大模型实战 .sz 72、大模型之ChineseWebText数据集预训练GPT大模型 .sz 73、大模型之全量微调一个问答ChatBot .sz 74、大模型之模型的本地保存和加载 .sz 75、大模型之LoRA微调Qwen3大模型实战 .sz 76、大模型之模型的部署和调用 .sz 77、大模型之HuggingFace预训练大模型实战 .sz 78、大模型之HuggingFace微调大模型实战 .sz 79、大模型之LLaMA-Factory微调Qwen3大模型实战 .sz 7、Python基础之类和函数 .sz 80、大模型之LLaMA-Factory微调DeepSeek-R1大模型实战 .sz 81、DeepSeek之手写推理大模型 .sz 82、DeepSeek之手写Function Call大模型 .sz 83、DeepSeek之手写KV-Cache和MLA .sz 84、DeepSeek之手写GQA、MQA .sz 85、DeepSeek之手写混合专家模型MoE .sz 86、DeepSeek之模型蒸馏之黑盒蒸馏 .sz 87、DeepSeek之模型蒸馏之白盒蒸馏 .sz 88、多模态之CNN卷积神经网络 .sz 89、多模态之CNN图像识别实战 .sz 8、数学基础之标量、向量、L0L1L2范数、特征向量 .sz 90、多模态之手写Vision Transformer（ViT） .sz 91、多模态之Clip模型图文匹配实战 .sz 92、多模态之手写Clip多模态大模型底层实现 .sz 93、多模态之手写LLaVA图生文多模态大模型 .sz 94、多模态之LLAVA图生文多模态大模型实战 .sz 95、多模态之U-Net模型图像分割实战 .sz 96、多模态之手写Diffusion Model扩散模型 .sz 97、多模态之手写Stable Diffusion文生图大模型 .sz 98、多模态之手写VAE+Stable Diffusion文生图大模型 .sz 99、前沿拓展之DeepSeek之DSA稀疏注意力机制和闪电索引机制 .sz 9、数学基础之矩阵创建、特殊矩阵、矩阵索引 .sz 课程大纲.JPG 资料代码.zip
