人工精选Spark 2.x + Python 大数据机器学习实战 视频教程
这门课的主题是 Spark 2.x 与 Python 结合做机器学习。如果你现在的处境是：手上有一批几十万行以上的数据，用 pandas 跑得越来越吃力，或者想从数据分析往大数据方向挪一步，那它值得认真看一眼；如果你只想学机器学习算法本身，或者日常数据量不大，那这门课可能不是你的第一选择，先用 sc
会员可免费下载本篇月会员可免费领取。
开通会员 ›会员 · 按档位
游客按标价购买，不享受上表折扣。
支付成功后自动发放网盘链接，链接失效可找客服免费补
这门课的主题是 Spark 2.x 与 Python 结合做机器学习。如果你现在的处境是：手上有一批几十万行以上的数据，用 pandas 跑得越来越吃力，或者想从数据分析往大数据方向挪一步，那它值得认真看一眼；如果你只想学机器学习算法本身，或者日常数据量不大，那这门课可能不是你的第一选择，先用 scikit-learn 把建模流程走通更划算。
它解决的是哪类工作场景
真实工作里让机器学习的门槛变高的，往往不是算法，而是数据规模。单机内存装不下的表、跑一次特征工程要等半小时的脚本、多个数据源需要先做清洗和聚合再建模——这些环节在 Spark 上有一套成熟的写法，而这门课就是围绕这套写法展开的。它把模型训练放在 Spark 的分布式框架里，用 Python 作为主要语言，覆盖从数据读取、清洗、特征处理到训练、评估、调参的完整链条，而不是只讲某个分类器怎么用。
学完能独立做什么
- 把存放在文件或表里的较大规模数据读进 Spark，做完清洗、缺失处理和特征拼接，再交给算法训练。
- 使用 Spark 的机器学习库完成分类、回归、聚类这几类常见任务，并看懂模型输出的评估指标。
- 把建模步骤组织成可重复跑通的流程，而不是每次改一个参数就手动重来一遍。
- 对一套完整的数据集走完从原始数据到模型产出的过程，并知道每一步为什么这么做。
需要说明的是，这里的"独立"指的是能自己搭起一条可运行的建模链路。至于把模型部署成线上服务、做实时推理、调优集群资源这些，属于更进一步的内容，课程里不承担这一部分。
资料适合什么基础
适合三类人：写过 Python、能看懂函数和循环的人；用过 pandas 或类似工具做过数据清洗的人；对机器学习有模糊印象、知道训练集和测试集是怎么回事的人。如果你完全没接触过 Python，开头会比较吃力，建议先补上语言基础再回来。
反过来，如果你已经用 Spark 做过一段时间开发，只是想找一份查漏补缺的材料，那课程后段偏实战的部分对你价值更大，前面的环境搭建和基础概念可以快速跳过。至于分布式原理、Spark 内部执行机制这类偏底层的内容，这门课讲得不深，想深挖需要另找资料。
建议的使用方式
资料包里有视频和配套的章节笔记，两者搭配用效率更高：先看一节视频，理解这一节要解决什么问题，然后对着笔记把代码自己敲一遍。大数据方向的坑大多出在环境和数据格式上，光看不练，报错的时候会完全没有头绪。
学习顺序上，建议照着章节走，不要跳。Spark 的机器学习部分依赖前面数据处理的基础，跳着学容易在中间卡住。每学完一个阶段，找一个自己熟悉的小数据集，用同样的方法独立走一遍流程——这一步比多看几节视频有用得多。面试前拿笔记快速过一遍，重点看自己动手时踩过坑的地方。
最后提醒一点：这类技术更新快，课程基于 Spark 2.x，实际工作中你遇到的可能是更新的版本。学会思路和写法之后，版本差异带来的语法变化并不难适应，但不要在具体 API 上钻太久牛角尖。
机器学习是近二十来年兴起的多领域学科，机器学习算法可从数据中建立模型，并利用模型对未知数据进行预测。机器学习技术不断进步，应用相当广泛，例如推荐引擎、定向广告、需求预测、垃圾邮件过滤、医学诊断、自然语言处理、搜索引擎、诈骗侦测、证券分析、视觉辨识、语音识别、手写识别等。
课程推荐
《Spark 2.x + Python 大数据机器学习实战 视频教程》机器学习是近二十来年兴起的多领域学科，机器学习算法可从数据中建立模型，并利用模型对未知数据进行预测。机器学习技术不断进步，应用相当广泛，例如推荐引擎、定向广告、需求预测、垃圾邮件过滤、医学诊断、自然语言处理、搜索引擎、诈骗侦测、证券分析、视觉辨识、语音识别、手写识别等。【技能收获】学完可掌握：Python 编程。课程以实战为导向，覆盖从基础概念到完整项目落地的关键步骤，配套章节笔记便于课后复盘与面试前快速回顾。【学习建议】建议按目录顺序学习，先打基础再进入综合实战章节；每完成 2～3 节可结合笔记整理一份学习小结，最终尝试独立复现一套完整 Demo 写入个人作品集。【就业发展】可面向岗位：Linux 运维工程师、SRE、云计算工程师、DevOps 工程师。云原生与自动化运维仍是企业 IT 刚需方向，认证 + 实战项目组合能显著提升面试通过率，适合向中高级运维或架构岗进阶。 若你已有一定编程或运维基础，本课程可帮助你在现有技能栈上快速叠加热门方向能力，提升求职时的项目说服力与薪资谈判空间。
视频目录（37 节）
课程目录
* 1、快速环境搭建：导入Windows7虚拟机至VMWARE及启动系统和远程桌面连接
* 2、快速环境搭建：Windows系统如何安装pyspark模块到Anaconda及启动PyCharm了解Spark MLlib机器学习库源码及走读
* 3、快速环境搭建：使用PyCharm开发Spark程序（读取文本数据封装RDD）
* 4、PySpark SQL快速开发：结构化海量数据处理框架SparkSQL介绍、DataFrame概述及分析数据两种方式
* 5、PySpark SQL快速开发：使用SparkSession读取文本数据分析及CSV格式数据分析（封装DataFrame分布式数据集）
* 6、PySpark SQL快速开发：基于Jupyter Notebook读取航空航天数据、使用DSL分析
* 7、PySpark SQL快速开发：使用DSL分析航天航空数据及如何将DataFrame转换为Pandas中dataframe
* 8、推荐系统几大分类（不同数据、不同算法）概述、以亚马逊和JD为例查看推荐（检索物品后推荐）及推荐系统预测（评分和行为）
* 9、协同过滤推荐算法CF核心思想、算法数据（用户对物品的评价）及矩阵分解两种方式（SVD和ALS算法）
* 10、CF的两种推荐方式（基于用户推荐和基于物品推荐）、计算用户或物品相似度常见四种方式及Spark MLlib中ALS算法核心（数据封装、算法超参数）
* 11、推荐数据集：电影评分数据、通过源码剖析Spark MLlib中协同过滤算法实现类（Rating、ALS和MatrixFactorizationModel）
* 12、使用Jupyter Notebook开发电影推荐：读取MovieLens评分数据、组合特征、训练模型、预测评分和为用户或电影进行Top10推荐
* 13、回顾综述Spark MLlib中支持推荐系统中不同算法（内容推荐Word2Vector、关联规则FP-Growth和协同过滤ALS）
* 14、针对电影推荐开发优化：将数据集划分为训练和测试、计算模型评估指标MSE和RMSE值
* 15、针对电影推荐开发优化：定义函数封装模型评估（依据传递模型和测试数据集）
* 16、针对电影推荐开发优化：使用多层嵌套FOR循环设置不同超参数值训练和评估模型，获取最佳模型
* 17、针对电影推荐开发优化：保存加载模型、机器学习简易开发流程和使用PyCharm开发封装模型训练与保存
* 18、针对电影推荐开发优化：依据输入用户或物品进行相关推荐（加载离线训练完成的模型）
* 19、综述Spark MLlib中实现常见分类算法库（二分类和多分类）及查看实现源码
* 20、监督学习算法数据格式标签向量LabelPoint及Kaggle竞赛StumbleUpon数据集说明（预测网址是否长青或短暂）
* 21、构建分类系统之数据调研、数据过滤转换和类别特征提取方式1-of-K详解
* 22、构建分类系统之分别定义函数提取类别label和转换类别数据提取特征features
* 23、构建分类系统之封装数据、划分数据集、使用决策树分类及二分类评估指标PR和ROC
* 24、构建分类系统之使用集成学习算法随机森林RF训练模型和评估性能
* 25、构建分类系统之使用梯度提升算法GBT训练模型和评估性能
* 26、构建分类系统之分别使用朴素贝叶斯、支持向量机SVM和逻辑回归算法训练模型与预测
* 27、Spark MLlib中回归算法实现库（LR、DT等）、过拟合（L1和L2正则化）和阅读算法库源码
* 28、BikeSharing数据集调研、读取数据并编写函数提取特征和标签
* 29、构建回归模型之划分数据集、使用决策树回归算法训练模型及定义函数评估模型
* 30、构建回归模型之使用随机森林RF和梯度提升GBT回归算法训练模型及评估模型
* 31、构建回归模型之使用LinearRegressionWithSGD训练模型及引出要转换类别特征数据问题
* 32、回顾复习Spark MLlib中算法（分类、回归和推荐）及基于DataFrame ML几个核心概念剖析
* 33、_查看Spark ML机器学习库源码及SparkSession读取电影评分数据封装DataFrame
* 34、基于DataFrame 协同过滤算法ALS进行电影推荐模型训练和相关预测
* 36、使用VectorIndexer类别特征转换及使用TrainValidationSplit进行超参数调整获取最佳模型
* 37、使用交叉验证CrossValidator方式训练评估模型找到最佳模型
* 38、Pipeline管道使用说明、结合共享单车出租预测进行构建Pipeline Model模型和预测
同类课程
和你正在看的这门一个方向
软考考证希赛李阿妹老师.软考中级软件设计师
永久有效 · 网盘发货
软考考证雅思备考必备｜剑雅1-19真题合集 +独家解析+听力原声（高清PDF+音频）
永久有效 · 网盘发货
软考考证薛大龙软考【高项】2026年5月
永久有效 · 网盘发货
软考考证超级面试官 ：让你看人不走眼的管理必修课 2.5万人次学过【完结】
永久有效 · 网盘发货
软考考证兄弟连出品细说PHP 第二版（DVD）
永久有效 · 网盘发货
软考考证软考中级网络工程师
永久有效 · 网盘发货