NLP 实战：从文本处理到词向量构建

本课程聚焦自然语言处理（NLP）中的基础工程落地，主要解决文本数据如何被机器“读懂”这一核心痛点。针对当前大模型应用开发中，原始文本无法直接输入、语义信息丢失的难题，课程不空谈算法原理，而是手把手带你搭建从分词到词向量的完整数据处理管线。通过系统学习，你能独立实现中文与英文文本的标准化清洗，并掌握利用预训练向量或自定义训练来表征词义的方法，为后续构建聊天机器人、情感分析或搜索推荐系统打下坚实的数据基础。

适用人群与前置要求

这门课适合有一定编程基础、想切入 AI 工程化领域的初学者或转行者。内容基于 Python 语言，要求读者熟悉 Python 基本语法及 NumPy、Pandas 等常用库。课程导论部分会简要梳理技术演进，帮助零基础学员建立认知框架；随后直接进入环境配置与代码实操，不依赖复杂的数学推导，更看重代码复现与工具调用。如果你是纯小白，建议先花 30 分钟过一遍导论视频，确认对“词”与“向量”的关系有直观理解，再开始编写代码。

学习路径与资料配合建议

建议按“分词工具选择”与“词表示方法”两个阶段推进。首先观看“分词”系列视频，重点实操 jieba 库，理解自定义词典对分词准确率的调整，这是处理中文文本的必经之路；随后进入“词表示”章节，对比 One-hot 与 Word2Vec 的优劣，动手跑通 Skip-Gram 或 CBOW 模型训练代码。资料包中的脚本文件与对应理论视频需同步对照：先看理论讲解原理，再对照代码注释逐行运行，遇到报错时优先检查数据编码格式与环境依赖是否匹配。学完后，你应能独立编写一个脚本，读取任意文本文件，将其转化为可用于深度学习模型的词向量矩阵，直接应用于下游任务。

课程目录

001-NLP-课程简介.mp4 26.90M
002-NLP-课程概述.mp4 73.93M
003-NLP-导论-常见任务.mp4 147.16M
004-NLP-导论-技术演进历史.mp4 169.82M
005-NLP-环境准备.mp4 21.30M
006-NLP-文本表示-概述.mp4 113.00M
007-NLP-文本表示-分词-英文分词.mp4 199.70M
008-NLP-文本表示-分词-英文分词-BPE算法.mp4 148.49M
009-NLP-文本表示-分词-中文分词.mp4 88.00M
010-NLP-文本表示-分词-分词工具-概述.mp4 21.03M
011-NLP-文本表示-分词-分词工具-jieba-分词模式.mp4 64.51M
012-NLP-文本表示-分词-分词工具-jieba-分词模式-API.mp4 50.48M
013-NLP-文本表示-分词-分词工具-jieba-自定义词典.mp4 59.55M
014-NLP-文本表示-词表示-one-hot&语义化词向量-概述.mp4 108.49M
015-NLP-文本表示-词表示-语义化词向量-Word2Vec-概述.mp4 48.16M
016-NLP-文本表示-词表示-语义化词向量-Word2Vec-原理-Skip-Gram.mp4 115.77M
017-NLP-文本表示-词表示-语义化词向量-Word2Vec-原理-CBOW.mp4 26.46M
018-NLP-文本表示-词表示-语义化词向量-Word2Vec-获取-公开词向量-说明.mp4 83.73M
019-NLP-文本表示-词表示-语义化词向量-Word2Vec-获取-公开词向量-编码.mp4 106.32M
020-NLP-文本表示-词表示-语义化词向量-训练词向量-概述.mp4 36.91M
021-NLP-文本表示-词表示-语义化词向量-训练词向量-实操.mp4 156.98M
022-NLP-文本表示-词表示-语义化词向量-应用-概述.mp4 50.82M
023-NLP-文本表示-词表示-语义化词向量-应用-编码.mp4 116.20M
024-NLP-文本表示-词表示-语义化词向量-应用-OOV问题.mp4 41.28M
025-NLP-文本表示-词表示-上下文相关词向量.mp4 69.09M
026-NLP-传统序列模型-RNN-概述.mp4 29.11M
027-NLP-传统序列模型-RNN-基础结构.mp4 77.31M
028-NLP-传统序列模型-RNN-示意图.mp4 21.97M
029-NLP-传统序列模型-RNN-多层结构.mp4 32.93M
030-NLP-传统序列模型-RNN-双向结构.mp4 74.26M
031-NLP-传统序列模型-RNN-多层+双向结构.mp4 16.70M
032-NLP-传统序列模型-RNN-API-构造参数.mp4 107.45M
033-NLP-传统序列模型-RNN-API-输入输出-概述.mp4 54.10M
034-NLP-传统序列模型-RNN-API-输入输出-含义.mp4 66.91M
035-NLP-传统序列模型-RNN-API-输入输出-形状分析.mp4 135.34M
036-NLP-传统序列模型-RNN-API-小练习.mp4 37.48M
037-NLP-传统序列模型-案例-概述.mp4 21.22M
038-NLP-传统序列模型-案例-思路分析-数据集说明.mp4 118.22M
039-NLP-传统序列模型-案例-思路分析-模型结构和训练思路.mp4 30.91M
040-NLP-传统序列模型-RNN-案例-项目结构.mp4 31.62M
041-NLP-传统序列模型-RNN-案例-数据预处理-思路分析.mp4 98.17M
042-NLP-传统序列模型-RNN-案例-数据预处理-读取json文件.mp4 106.43M
043-NLP-传统序列模型-RNN-案例-数据预处理-文件路径说明.mp4 59.58M
044-NLP-传统序列模型-RNN-案例-数据预处理-文件路径处理.mp4 55.66M
045-NLP-传统序列模型-RNN-案例-数据预处理-构建并保存词表.mp4 132.52M
046-NLP-传统序列模型-RNN-案例-数据预处理-构建训练集.mp4 118.13M
047-NLP-传统序列模型-RNN-案例-数据预处理-保存训练集&测试集.mp4 65.63M
048-NLP-传统序列模型-RNN-案例-数据集-说明.mp4 13.96M
049-NLP-传统序列模型-RNN-案例-数据集-编码.mp4 105.21M
050-NLP-传统序列模型-RNN-案例-模型定义-初始化方法.mp4 51.04M
051-NLP-传统序列模型-RNN-案例-模型定义-前向传播.mp4 73.33M
052-NLP-传统序列模型-RNN-案例-训练脚本-环境准备.mp4 52.24M
053-NLP-传统序列模型-RNN-案例-训练脚本-训练循环.mp4 44.40M
054-NLP-传统序列模型-RNN-案例-训练脚本-单个轮次的训练逻辑.mp4 77.97M
055-NLP-传统序列模型-RNN-案例-训练脚本-Tensorboard使用说明.mp4 155.47M
056-NLP-传统序列模型-RNN-案例-训练脚本-保存模型.mp4 110.98M
057-NLP-传统序列模型-RNN-案例-预测脚本-说明.mp4 16.21M
058-NLP-传统序列模型-RNN-案例-预测脚本-编码-上.mp4 183.99M
059-NLP-传统序列模型-RNN-案例-预测脚本-编码-下.mp4 102.84M
060-NLP-传统序列模型-RNN-案例-评估脚本-说明.mp4 34.61M
061-NLP-传统序列模型-RNN-案例-评估脚本-编码.mp4 173.73M
062-NLP-传统序列模型-RNN-案例-代码改造说明.mp4 22.89M
063-NLP-传统序列模型-RNN-案例-Tokenizer-说明.mp4 47.26M
064-NLP-传统序列模型-RNN-案例-Tokenizer-编码.mp4 261.45M
065-NLP-传统序列模型-RNN-存在问题-概述.mp4 56.32M
066-NLP-传统序列模型-RNN-存在问题-分析.mp4 239.55M
067-NLP-传统序列模型-LSTM-概述.mp4 66.93M
068-NLP-传统序列模型-LSTM-基础结构-说明.mp4 144.21M
069-NLP-传统序列模型-LSTM-缓解梯度消失和爆炸.mp4 90.68M
070-NLP-传统序列模型-LSTM-复杂结构.mp4 52.15M
071-NLP-传统序列模型-LSTM-API-构造参数.mp4 97.37M
072-NLP-传统序列模型-LSTM-API-输入输出.mp4 39.14M
073-NLP-传统序列模型-LSTM-案例-概述&思路分析.mp4 75.37M
074-NLP-传统序列模型-LSTM-案例-数据处理-说明.mp4 74.31M
075-NLP-传统序列模型-LSTM-案例-数据处理-编码-上.mp4 123.62M
076-NLP-传统序列模型-LSTM-案例-数据处理-编码-下.mp4 101.68M
077-NLP-传统序列模型-LSTM-案例-数据集.mp4 25.38M
078-NLP-传统序列模型-LSTM-案例-模型定义.mp4 165.89M
079-NLP-传统序列模型-LSTM-案例-模型训练.mp4 102.57M
080-NLP-传统序列模型-LSTM-案例-模型预测.mp4 78.96M
081-NLP-传统序列模型-LSTM-案例-模型评估.mp4 51.84M
082-NLP-传统序列模型-LSTM-存在问题.mp4 29.94M
083-NLP-传统序列模型-GRU-基础结构.mp4 120.13M
084-NLP-传统序列模型-GRU-复杂结构&API使用说明.mp4 14.77M
085-NLP-传统序列模型-GRU-案例实操.mp4 30.82M
086-NLP-传统序列模型-LSTM_GRU_RNN横向对比.mp4 32.24M
087-NLP-Seq2Seq-概述.mp4 67.54M
088-NLP-Seq2Seq-模型结构-编码器.mp4 37.81M
089-NLP-Seq2Seq-模型结构-解码器.mp4 88.53M
090-NLP-Seq2Seq-模型结构-训练机制.mp4 91.34M
091-NLP-Seq2Seq-模型结构-推理机制.mp4 70.32M
092-NLP-Seq2Seq-模型结构-案例实操-概述.mp4 44.46M
093-NLP-Seq2Seq-模型结构-案例实操-需求分析.mp4 166.61M
094-NLP-Seq2Seq-模型结构-案例实操-数据预处理-读取文件.mp4 108.24M
095-NLP-Seq2Seq-模型结构-案例实操-数据预处理-改造Tokenizer.mp4 140.22M
096-NLP-Seq2Seq-模型结构-案例实操-数据预处理-词表构建.mp4 8.16M
097-NLP-Seq2Seq-模型结构-案例实操-数据预处理-构建数据集.mp4 56.67M
098-NLP-Seq2Seq-模型结构-案例实操-Dataloader.mp4 164.71M
099-NLP-Seq2Seq-模型结构-案例实操-模型定义-编码器.mp4 72.90M
100-NLP-Seq2Seq-模型结构-案例实操-模型定义-解码器.mp4 98.83M
101-NLP-Seq2Seq-模型结构-案例实操-模型定义-完整模型.mp4 19.63M
102-NLP-Seq2Seq-模型结构-案例实操-训练脚本-核心代码.mp4 253.93M
103-NLP-Seq2Seq-模型结构-案例实操-训练脚本-pad_token处理逻辑.mp4 63.67M
104-NLP-Seq2Seq-案例-预测脚本.mp4 387.79M
105-NLP-Seq2Seq-案例-评估脚本-bleu说明.mp4 69.66M
106-NLP-Seq2Seq-案例-评估脚本-编码.mp4 95.92M
107-NLP-Seq2Seq-总结.mp4 44.93M
108-NLP-Attention机制-概述.mp4 30.34M
109-NLP-Attention机制-工作原理-概述.mp4 29.55M
110-NLP-Attention机制-工作原理-具体步骤.mp4 48.00M
111-NLP-Attention机制-注意力评分函数.mp4 86.95M
112-NLP-Attention机制-案例-代码升级改造思路.mp4 65.31M
113-NLP-Attention机制-案例-注意力机制-实现思路.mp4 93.01M
114-NLP-Attention机制-案例-注意力机制-编码.mp4 41.73M
115-NLP-Attention机制-案例-注意力机制-训练和预测逻辑修改.mp4 31.83M
116-NLP-Transformer-概述.mp4 69.98M
117-NLP-Transformer-核心思想.mp4 106.73M
118-NLP-Transformer-模型结构-整体结构.mp4 72.76M
119-NLP-Transformer-模型结构-编码器-概述.mp4 33.51M
120-NLP-Transformer-模型结构-编码器-自注意力子层-生成QKV向量.mp4 129.04M
121-NLP-Transformer-模型结构-编码器-自注意力子层-完整计算过程.mp4 114.56M
122-NLP-Transformer-模型结构-编码器-自注意力子层-多头注意力.mp4 75.38M
123-NLP-Transformer-模型结构-编码器-前馈神经网络层.mp4 41.40M
124-NLP-Transformer-模型结构-编码器-残差连接&层归一化-概述.mp4 20.95M
125-NLP-Transformer-模型结构-编码器-残差连接-说明.mp4 71.76M
126-NLP-Transformer-模型结构-编码器-层归一化.mp4 34.56M
127-NLP-Transformer-模型结构-编码器-位置编码.mp4 61.50M
128-NLP-Transformer-模型结构-编码器-说明.mp4 153.30M
129-NLP-Transformer-模型结构-编码器-小结.mp4 37.09M
130-NLP-Transformer-模型结构-解码器-概述.mp4 55.00M
131-NLP-Transformer-模型结构-解码器-Mask-Attention.mp4 86.49M
132-NLP-Transformer-模型结构-解码器-Cross-Attention.mp4 20.58M
133-NLP-Transformer-模型结构-解码器-小结.mp4 10.64M
134-NLP-Transformer-实现细节-注意力为什么需要缩放.mp4 75.10M
135-NLP-Transformer-实现细节-注意力如何感知相对位置.mp4 75.84M
136-NLP-Transformer-模型训练和推理机制.mp4 34.91M
137-NLP-Transformer-API-概述.mp4 46.80M
138-NLP-Transformer-API-nn.Transformer-构造参数.mp4 70.89M
139-NLP-Transformer-API-nn.Transformer-forward方法-概述.mp4 43.58M
140-NLP-Transformer-API-nn.Transformer-forward方法-输入输出.mp4 160.74M
141-NLP-Transformer-API-nn.Transformer-encoder&decoder.mp4 74.13M
142-NLP-Transformer-案例-代码改造思路.mp4 24.87M
143-NLP-Transformer-案例-模型定义-基础结构.mp4 55.60M
144-NLP-Transformer-案例-模型定义-位置编码-简易实现.mp4 159.86M
145-NLP-Transformer-案例-模型定义-位置编码-哈弗实现.mp4 190.63M
146-NLP-Transformer-案例-模型定义-前向传播.mp4 108.48M
147-NLP-Transformer-案例-训练脚本.mp4 100.71M
148-NLP-Transformer-案例-预测&评估脚本.mp4 148.37M
149-NLP-Transformer-哈佛版本-核心源码解读.mp4 240.97M
150-NLP-预训练模型-概述.mp4 59.83M
151-NLP-预训练模型-分类.mp4 90.77M
152-NLP-预训练模型-主流模型-GPT-概述.mp4 13.62M
153-NLP-预训练模型-主流模型-GPT-模型结构.mp4 60.75M
154-NLP-预训练模型-主流模型-GPT-预训练.mp4 34.56M
155-NLP-预训练模型-主流模型-GPT-微调.mp4 108.90M
156-NLP-预训练模型-主流模型-BERT-概述.mp4 41.69M
157-NLP-预训练模型-主流模型-BERT-模型结构.mp4 83.14M
158-NLP-预训练模型-主流模型-BERT-微调.mp4 142.79M
159-NLP-预训练模型-主流模型-BERT-预训练.mp4 87.80M
160-NLP-预训练模型-主流模型-T5-概述&模型结构.mp4 43.02M
161-NLP-预训练模型-主流模型-T5-预训练&微调.mp4 57.08M
162-NLP-预训练模型-HF-概述.mp4 170.30M
163-NLP-预训练模型-HF-模型加载-AutoModel.mp4 85.55M
164-NLP-预训练模型-HF-模型加载-AutoModelForXXX.mp4 86.41M
165-NLP-预训练模型-HF-模型使用.mp4 181.85M
166-NLP-预训练模型-HF-Tokenizer-加载.mp4 135.97M
167-NLP-预训练模型-HF-Tokenizer-使用.mp4 216.04M
168-NLP-预训练模型-HF-Tokenizer-模型配合使用.mp4 89.96M
169-NLP-预训练模型-HF-Datasets-概述.mp4 37.48M
170-NLP-预训练模型-HF-Datasets-加载数据集.mp4 89.76M
171-NLP-预训练模型-HF-Datasets-查看数据集.mp4 34.92M
172-NLP-预训练模型-HF-Datasets-加载在线数据集.mp4 24.38M
173-NLP-预训练模型-HF-Datasets-预处理数据集-过滤数据.mp4 46.07M
174-NLP-预训练模型-HF-Datasets-预处理数据集-划分数据集.mp4 19.69M
175-NLP-预训练模型-HF-Datasets-预处理数据集-map-上.mp4 211.88M
176-NLP-预训练模型-HF-Datasets-预处理数据集-map-下.mp4 83.22M
177-NLP-预训练模型-HF-Datasets-保存数据集.mp4 83.55M
178-NLP-预训练模型-HF-Datasets-集成Dataloader.mp4 58.48M
179-NLP-预训练模型-案例-数据预处理-上.mp4 138.52M
180-NLP-预训练模型-案例-数据预处理-下.mp4 34.19M
181-NLP-预训练模型-案例-Dataloader.mp4 38.85M
182-NLP-预训练模型-案例-模型定义.mp4 101.65M
183-NLP-预训练模型-案例-模型训练.mp4 91.15M
184-NLP-预训练模型-案例-模型推理.mp4 26.57M
185-NLP-预训练模型-案例-模型评估.mp4 28.98M
186-NLP-预训练模型-案例-测试.mp4 28.81M
187-NLP-预训练模型-案例-带任务头的预训练模型.mp4 169.69M
1.笔记
2.资料
3.代码
4.视频