黑马-人工智能与数据挖掘

这门课的主题是 Spark 上的数据挖掘与机器学习，不是泛泛的 AI 概论。它要解决的工作场景很具体：你手里已经有了一批规模不小的业务数据，用单机 pandas 或 sklearn 跑不动、或者跑一次要等太久，需要换成分布式的方式做特征处理、模型训练和推荐计算。课程把重心放在 Spark MLlib 和 GraphX 这两块，前者负责分类、聚类、协同过滤这类常规挖掘任务，后者负责图结构上的计算，比如 PageRank、广度优先遍历这类在关系网络里才用得上的算法。

适合什么基础，不适合什么基础

如果你完全没写过 Spark，直接进来会比较吃力。课程里的案例默认你已经知道 RDD 和 DataFrame 的基本操作，知道怎么把数据读进来、怎么分区、怎么触发一次作业。机器学习那边也一样，至少要清楚训练集和测试集怎么分、过拟合是什么、协同过滤在解决什么问题，否则讲到 SVD++ 的推导时容易卡住。反过来说，如果你已经用 Spark 做过 ETL、清洗过日志，但一直没把 MLlib 用起来，或者只会调 API 却说不清算法在干什么，这门课的匹配度就比较高。纯零基础、只想了解 AI 概念的人，不建议从这份资料入手。

建议先看哪几块

不要按文件顺序从头播到尾。比较省时间的走法是先进入 Spark MLlib 的数据挖掘部分，把特征抽取、向量化、模型训练这条链路跑通一遍，建立对分布式建模的整体感觉。等这条线顺了，再去看 Spark GraphX 的内容，重点放在 PageRank 和广度优先遍历这两个算法上，它们是理解图计算思路的入口，后面的综合实战基本都在这个基础上展开。SVD++ 那部分建议放到最后，因为它同时牵扯推荐系统的业务背景和矩阵分解的数学推导，前置知识不齐的时候看，很容易变成抄代码。看视频时遇到推导环节，先暂停自己写一遍，再对照讲解，比连播效率高得多。

学完能独立做什么，资料怎么配合练习

把 MLlib 和 GraphX 两块吃下来，你应该能独立完成这样几件事：把一份原始业务数据在 Spark 上做成可训练的特征表，选一个合适的算法跑出基线模型并评估效果，以及在用户关系或物品关系构成的图上算出节点的重要性排序、做简单的路径遍历。推荐场景下，能说清协同过滤和矩阵分解各自的适用边界，而不是只会调一个接口。练习上建议自己找一份公开数据集，把课程里的流程重做一遍，重点不是复现结果，而是改参数、换特征、看指标怎么变。图算法部分可以自己构造一个小规模的边表，手动验证 PageRank 的迭代过程，确认自己真的理解收敛条件。资料里的实战案例适合当参照，不建议只跟着敲一遍就过。