先判断：这门课值不值得你花时间

很多转行做后端或数据分析的人，听到大数据处理就会发怵，觉得必须先啃完一堆分布式理论才能上手。这门 Spark 课的切入点很务实，它没有一上来就铺陈架构原理，而是从“三步走”的实操路径入手，带你用代码跑通大数据的“Hello World”。如果你在日常工作中遇到了单机处理几 GB 日志卡顿、需要做离线数据清洗、或者要接手已有的数仓任务，这门课能直接给你提供解决工具。但如果你目前的工作只是偶尔写几行 SQL 查报表，没有实际处理海量数据的需求，那暂时不必跟风买课，先把手头的业务逻辑理清更要紧。

看基础：你需要掌握什么，学完能独立做什么

课程虽然带“零基础”字眼，但这里的零基础指的是你没接触过 Spark，而不是连代码都不会写。要消化这些资料，你得有基本的编程概念，懂一点 Python 或 Scala 语法，知道变量、循环和函数是怎么回事。学完之后，你能够独立完成一整套离线数据处理流程：把分散的日志文件读入程序，利用 RDD 算子进行过滤、映射和聚合，理解延迟计算的触发机制，最终把统计结果落盘输出。这意味着你具备了在公司里接手简单数据清洗任务的能力，不再是面对海量日志手足无措的状态。

怎么用：建议的阅读顺序与练习配合方式

这套资料包含图文和音频，建议把音频当作通勤时的预习材料，先听一遍建立概念，回头再仔细看对应的图文拆解细节。入门阶段不要跳篇，强烈建议先精读开篇词的“三步走”建立全局认知，接着直接进入基础知识模块，重点啃透 RDD 编程模型和延迟计算那一节。很多人写完代码发现不报错也不出结果，就是因为没搞懂“行动算子”才会触发计算的机制。在练习配合上，不要只用眼睛看文档，务必自己搭好环境，把课程里的数据转换算子逐行敲一遍。看着简单的算子，在真实数据上跑起来往往会遇到内存和分区的问题，自己动手踩过这些坑，知识才是你自己的。


从项目入手，带你深入浅出玩转Spark

课程目录

*   01 开篇词/

  *   01 开篇词 入门Spark，你需要学会“三步走”.html (2.04 MB)

  *   01 开篇词 入门Spark，你需要学会“三步走”.mp3 (15.68 MB)

*   02 基础知识/

  *   01 01｜Spark：从“大数据的Hello World”开始.html (3.34 MB)

  *   01 01｜Spark：从“大数据的Hello World”开始.mp3 (18.17 MB)

  *   02 02 RDD与编程模型：延迟计算是怎么回事.html (0.94 MB)

  *   02 02 RDD与编程模型：延迟计算是怎么回事.mp3 (17.48 MB)

  *   03 03 RDD常用算子（一）：RDD内部的数据转换.html (0.63 MB)

  *   03 03 RDD常用算子（一）：RDD内部的数据转换.mp3 (20.22 MB)

  *   04 04 进程模型与分布式部署：分布式计算是怎么回事.html (0.82 MB)

  *   04 04 进程模型与分布式部署：分布式计算是怎么回事.mp3 (16.99 MB)

  *   05 05 调度系统：如何把握分布式计算的精髓.html (1.52 MB)

  *   05 05 调度系统：如何把握分布式计算的精髓.mp3 (23.60 MB)

  *   06 06 Shuffle管理：为什么Shuffle是性能瓶颈.html (0.83 MB)

  *   06 06 Shuffle管理：为什么Shuffle是性能瓶颈.mp3 (18.29 MB)

  *   07 07 RDD常用算子（二）：Spark如何实现数据聚合.html (1.00 MB)

  *   07 07 RDD常用算子（二）：Spark如何实现数据聚合.mp3 (17.13 MB)

  *   08 08 内存管理：Spark如何使用内存.html (1.49 MB)

  *   08 08 内存管理：Spark如何使用内存.mp3 (16.84 MB)

  *   09 09 RDD常用算子（三）：数据的准备、重分布与持久化.html (1.02 MB)

  *   09 09 RDD常用算子（三）：数据的准备、重分布与持久化.mp3 (21.44 MB)

  *   10 10 广播变量 & 累加器：共享变量是用来做什么的.html (0.36 MB)

  *   10 10 广播变量 & 累加器：共享变量是用来做什么的.mp3 (14.84 MB)

  *   11 11 存储系统：数据到底都存哪儿了.html (1.11 MB)

  *   11 11 存储系统：数据到底都存哪儿了.mp3 (13.62 MB)

  *   12 12 基础配置详解：哪些参数会影响应用程序稳定性.html (0.51 MB)

  *   12 12 基础配置详解：哪些参数会影响应用程序稳定性.mp3 (19.36 MB)

*   03 Spark SQL/

  *   01 13 Spark SQL：让我们从“小汽车摇号分析”开始.html (0.86 MB)

  *   01 13 Spark SQL：让我们从“小汽车摇号分析”开始.mp3 (15.92 MB)

  *   02 14 台前幕后：DataFrame与Spark SQL的由来.html (1.32 MB)

  *   02 14 台前幕后：DataFrame与Spark SQL的由来.mp3 (18.79 MB)

  *   03 15 数据源与数据格式：DataFrame从何而来.html (1.09 MB)

  *   03 15 数据源与数据格式：DataFrame从何而来.mp3 (22.79 MB)

  *   04 16 数据转换：如何在DataFrame之上做数据处理.html (1.17 MB)

  *   04 16 数据转换：如何在DataFrame之上做数据处理.mp3 (21.62 MB)

  *   05 17 数据关联：不同的关联形式与实现机制该怎么选.html (0.93 MB)

  *   05 17 数据关联：不同的关联形式与实现机制该怎么选.mp3 (18.31 MB)

  *   06 18 数据关联优化：都有哪些Join策略，开发者该如何取舍.html (1.02 MB)

  *   06 18 数据关联优化：都有哪些Join策略，开发者该如何取舍.mp3 (15.52 MB)

  *   07 19 配置项详解：哪些参数会影响应用程序执行性能.html (1.60 MB)

  *   07 19 配置项详解：哪些参数会影响应用程序执行性能.mp3 (18.13 MB)

  *   08 20 Hive + Spark强强联合：分布式数仓的不二之选.html (1.25 MB)

  *   08 20 Hive + Spark强强联合：分布式数仓的不二之选.mp3 (22.04 MB)

  *   09 21｜Spark UI（上）：如何高效地定位性能问题.html (3.44 MB)

  *   09 21｜Spark UI（上）：如何高效地定位性能问题.mp3 (14.27 MB)

  *   10 22｜Spark UI（下）：如何高效地定位性能问题.html (4.78 MB)

  *   10 22｜Spark UI（下）：如何高效地定位性能问题.mp3 (16.56 MB)

*   04 Spark MLlib/

  *   01 23 Spark MLlib：从“房价预测”开始.html (0.95 MB)

  *   01 23 Spark MLlib：从“房价预测”开始.mp3 (18.52 MB)

  *   02 24 特征工程（上）：有哪些常用的特征处理函数.html (8.44 MB)

  *   02 24 特征工程（上）：有哪些常用的特征处理函数.mp3 (20.12 MB)

  *   03 25 特征工程（下）：有哪些常用的特征处理函数.html (7.16 MB)

  *   03 25 特征工程（下）：有哪些常用的特征处理函数.mp3 (14.62 MB)

  *   04 26 模型训练（上）：决策树系列算法详解.html (1.10 MB)

  *   04 26 模型训练（上）：决策树系列算法详解.mp3 (14.88 MB)

  *   05 27 模型训练（中）：回归、分类和聚类算法详解.html (0.58 MB)

  *   05 27 模型训练（中）：回归、分类和聚类算法详解.mp3 (13.08 MB)

  *   06 28 模型训练（下）：协同过滤与频繁项集算法详解.html (0.95 MB)

  *   06 28 模型训练（下）：协同过滤与频繁项集算法详解.mp3 (12.97 MB)

  *   07 29 Spark MLlib Pipeline：高效开发机器学习应用.html (0.29 MB)

  *   07 29 Spark MLlib Pipeline：高效开发机器学习应用.mp3 (16.13 MB)

*   05 Structured Streaming/

  *   01 30｜Structured Streaming：从“流动的Word Count”开始.html (1.33 MB)

  *   01 30｜Structured Streaming：从“流动的Word Count”开始.mp3 (14.50 MB)

  *   02 31｜新一代流处理框架：Batch mode和Continuous mode哪家强.html (1.91 MB)

  *   02 31｜新一代流处理框架：Batch mode和Continuous mode哪家强.mp3 (13.82 MB)

  *   03 32｜Window操作&Watermark：流处理引擎提供了哪些优秀机制.html (1.73 MB)

  *   03 32｜Window操作&Watermark：流处理引擎提供了哪些优秀机制.mp3 (16.68 MB)

  *   04 33｜流计算中的数据关联：流与流、流与批.html (0.67 MB)

  *   04 33｜流计算中的数据关联：流与流、流与批.mp3 (17.15 MB)

  *   05 34｜Spark + Kafka：流计算中的“万金油”.html (1.08 MB)

  *   05 34｜Spark + Kafka：流计算中的“万金油”.mp3 (16.78 MB)

*   06 用户故事/

  *   01 用户故事 小王：保持空杯心态，不做井底之蛙.html (2.90 MB)

  *   01 用户故事 小王：保持空杯心态，不做井底之蛙.mp3 (7.88 MB)

*   07 结束语/

  *   01 结束语 进入时间裂缝，持续学习.html (0.91 MB)

  *   01 结束语 进入时间裂缝，持续学习.mp3 (8.34 MB)

  *   02 期末测试｜来赴一场100分之约！.html (0.24 MB)

  *   02 期末测试｜来赴一场100分之约！.mp3 (0.56 MB)