22、NLP-文本相似度

搜索、去重、推荐、问答匹配，这些场景背后都绕不开同一个问题：两段文字到底像不像。这门课围绕文本相似度展开，讲的不是概念科普，而是把常见算法拆开、算给你看，再落到能跑起来的实现上。如果你之前看过一些 NLP 入门内容，却始终说不清 TF-IDF 和余弦相似度怎么配合、编辑距离和 Jaccard 各自适合什么场合，这门课能补上这块。

它解决的是哪一类工作问题

日常工作中真正需要判断文本相似度的场合，往往比想象中琐碎：用户重复提问要合并、商品标题近似要判重、知识库里找最匹配的答案、评论里筛掉高度雷同的内容。这些问题不一定需要上大模型，用合适的传统方法就能拿到可用的结果，成本还低。课程的价值在于帮你建立判断力——面对一个具体任务，知道该选哪类算法、参数怎么调、结果为什么不准。它不承诺解决所有语义理解难题，对同义改写、长文本主旨匹配这类偏难的情况，课程给的是思路和边界，不是万能方案。

适合什么基础，先看哪几块

需要的前提不多：会一点 Python，能看懂基本的向量和概率概念就够了。如果连 NumPy 都没碰过，建议先补最基础的数组操作再进来，否则代码部分会卡。有算法基础的人可以跳过最前面的铺垫，直接进入算法对比和实现部分。建议的观看顺序是先建立整体框架，弄清楚基于字面、基于集合、基于向量这几类方法的区别，再逐个深入具体算法，最后看应用场景的串联。不要一上来就钻某个公式的推导，容易失去全局感。

学完能独立做什么，资料怎么用

学完之后，你应该能独立完成这样几件事：给定两批文本，写脚本算出相似度并排序；针对自己的数据选一个合理阈值做去重或匹配；发现效果不好时，能判断是分词、权重还是算法选择的问题，并动手调整。这些都是可验证的小目标，拿自己的数据跑一遍就知道有没有学会。

资料包里的内容建议这样配合：先跟着讲解把每个算法的核心逻辑过一遍，然后自己动手复现一遍，不要只看不写；复现之后换一份自己的数据再跑，观察结果差异，这一步最能暴露理解漏洞。遇到效果不理想的情况，回头对照算法原理找原因，而不是急着换更复杂的模型。整个资料体量不算大，认真过两到三遍，配合自己动手改代码，比快速刷完更有用。如果时间有限，优先保证算法实现和应用串联这两块吃透，理论推导可以留到需要时再回看。