解决什么工作场景：Spark跑得慢，钱和资源都在烧

做数据开发，最怕的不是代码报错，而是作业能跑出结果，但慢得离谱，或者动不动内存溢出。Spark本身以分布式计算快著称，但在真实业务里，数据倾斜、频繁GC、Shuffle读写拉胯、任务卡死在某个Stage，这些情况每天都在发生。这门课解决的核心场景就是：线上的Spark作业跑得太慢或者太吃资源，老板让你去排查原因并提速。它不是教你从零写算子，而是假设你已经能把业务跑通，现在要解决“跑得慢、跑得费钱、跑得不稳定”的问题。如果你正被海量的日志处理、数仓跑批超时折磨，需要向团队交付一个稳定且成本可控的方案，这批资料对口的正是这个痛点。

适合什么基础，建议先看哪几块

这套资料不适合零基础转行的人。它要求你对Spark的基本概念有认知，写过SQL或者DataFrame，知道Job、Stage、Task的层级关系，最好踩过几次OOM的坑。如果你连分布式计算的逻辑都没建立，看起来会很吃力。在阅读顺序上，建议先看开篇和讲“调优本质与必要性”的部分，建立全局观，明白调优不是玄学而是有套路的排查逻辑；然后直接切入原理篇，尤其是关于RDD和Shuffle机制的内容。这两块是后续所有具体手段的地基，如果不理解数据在节点间怎么切分和流转，后面学任何参数配置都是死记硬背。把原理吃透，再去看具体的配置项和开发规范，思路会清晰很多。

学完能独立做什么，资料怎么配合练习

学完这套内容，你应该能独立接手一个拖后腿的Spark任务，看懂执行计划，定位出是数据倾斜还是算子使用不当，然后给出代码改造或资源参数调整的方案，最终把作业执行时间缩短或稳定内存占用。资料包里包含图文讲义和音频，建议以图文为主，音频作为通勤时的复习材料。看的时候千万不要只过眼睛，必须配合你本地的或者测试环境的Spark环境。每看完一个调优点，比如广播变量或者并行度调整，立刻去自己的测试数据集上跑一次，对比前后的执行计划和耗时。把资料里的套路变成你自己的肌肉记忆，才是这类实战课的正确打开方式。


一站式加速Spark作业执行性能

课程目录

*   01 课前必学/

  *   01 开篇词 Spark性能调优，你该掌握这些“套路”.html (2.81 MB)

  *   01 开篇词 Spark性能调优，你该掌握这些“套路”.mp3 (10.14 MB)

  *   02 01 性能调优的必要性：Spark本身就很快，为啥还需要我调优.html (0.12 MB)

  *   02 01 性能调优的必要性：Spark本身就很快，为啥还需要我调优.mp3 (11.70 MB)

  *   03 02 性能调优的本质：调优的手段五花八门，该从哪里入手.html (0.31 MB)

  *   03 02 性能调优的本质：调优的手段五花八门，该从哪里入手.mp3 (12.87 MB)

*   02 原理篇/

  *   01 03 RDD：为什么你必须要理解弹性分布式数据集.html (2.31 MB)

  *   01 03 RDD：为什么你必须要理解弹性分布式数据集.mp3 (14.09 MB)

  *   02 04 DAG与流水线：到底啥叫“内存计算”.html (2.99 MB)

  *   02 04 DAG与流水线：到底啥叫“内存计算”.mp3 (14.89 MB)

  *   03 05 调度系统：“数据不动代码动”到底是什么意思.html (3.11 MB)

  *   03 05 调度系统：“数据不动代码动”到底是什么意思.mp3 (23.00 MB)

  *   04 06 存储系统：空间换时间，还是时间换空间.html (0.98 MB)

  *   04 06 存储系统：空间换时间，还是时间换空间.mp3 (17.63 MB)

  *   05 07 内存管理基础：Spark如何高效利用有限的内存空间.html (2.83 MB)

  *   05 07 内存管理基础：Spark如何高效利用有限的内存空间.mp3 (18.44 MB)

*   03 通用性能调优篇/

  *   01 08 应用开发三原则：如何拓展自己的开发边界.html (1.12 MB)

  *   01 08 应用开发三原则：如何拓展自己的开发边界.mp3 (21.75 MB)

  *   02 09 调优一筹莫展，配置项速查手册让你事半功倍！（上）.html (2.27 MB)

  *   02 09 调优一筹莫展，配置项速查手册让你事半功倍！（上）.mp3 (22.38 MB)

  *   03 10 调优一筹莫展，配置项速查手册让你事半功倍！（下）.html (2.98 MB)

  *   03 10 调优一筹莫展，配置项速查手册让你事半功倍！（下）.mp3 (18.32 MB)

  *   04 11 为什么说Shuffle是一时无两的性能杀手.html (8.39 MB)

  *   04 11 为什么说Shuffle是一时无两的性能杀手.mp3 (19.26 MB)

  *   05 12 广播变量（一）：克制Shuffle，如何一招制胜！.html (2.15 MB)

  *   05 12 广播变量（一）：克制Shuffle，如何一招制胜！.mp3 (14.38 MB)

  *   06 13 广播变量（二）：如何让Spark SQL选择Broadcast Joins.html (0.31 MB)

  *   06 13 广播变量（二）：如何让Spark SQL选择Broadcast Joins.mp3 (14.68 MB)

  *   07 14 CPU视角：如何高效地利用CPU.html (2.76 MB)

  *   07 14 CPU视角：如何高效地利用CPU.mp3 (20.49 MB)

  *   08 15 内存视角（一）：如何最大化内存的使用效率.html (0.13 MB)

  *   08 15 内存视角（一）：如何最大化内存的使用效率.mp3 (16.85 MB)

  *   09 16 内存视角（二）：如何有效避免Cache滥用.html (1.09 MB)

  *   09 16 内存视角（二）：如何有效避免Cache滥用.mp3 (21.08 MB)

  *   10 17 内存视角（三）：OOM都是谁的锅怎么破.html (1.81 MB)

  *   10 17 内存视角（三）：OOM都是谁的锅怎么破.mp3 (16.17 MB)

  *   11 18 磁盘视角：如果内存无限大，磁盘还有用武之地吗.html (2.59 MB)

  *   11 18 磁盘视角：如果内存无限大，磁盘还有用武之地吗.mp3 (15.06 MB)

  *   12 19 网络视角：如何有效降低网络开销.html (1.56 MB)

  *   12 19 网络视角：如何有效降低网络开销.mp3 (14.36 MB)

*   04 Spark SQL 性能调优篇/

  *   01 20 RDD和DataFrame：既生瑜，何生亮.html (2.47 MB)

  *   01 20 RDD和DataFrame：既生瑜，何生亮.mp3 (14.33 MB)

  *   02 21 Catalyst逻辑计划：你的SQL语句是怎么被优化的（上）.html (2.44 MB)

  *   02 21 Catalyst逻辑计划：你的SQL语句是怎么被优化的（上）.mp3 (16.92 MB)

  *   03 22 Catalyst物理计划：你的SQL语句是怎么被优化的（下）.html (5.30 MB)

  *   03 22 Catalyst物理计划：你的SQL语句是怎么被优化的（下）.mp3 (16.03 MB)

  *   04 23 钨丝计划：Tungsten给开发者带来了哪些福报.html (3.76 MB)

  *   04 23 钨丝计划：Tungsten给开发者带来了哪些福报.mp3 (19.88 MB)

  *   05 24 Spark 3.0（一）：AQE的3个特性怎么才能用好.html (3.84 MB)

  *   05 24 Spark 3.0（一）：AQE的3个特性怎么才能用好.mp3 (16.98 MB)

  *   06 25 Spark 3.0（二）：DPP特性该怎么用.html (1.99 MB)

  *   06 25 Spark 3.0（二）：DPP特性该怎么用.mp3 (12.64 MB)

  *   07 26 Join Hints指南：不同场景下，如何选择Join策略.html (3.04 MB)

  *   07 26 Join Hints指南：不同场景下，如何选择Join策略.mp3 (17.78 MB)

  *   08 27 大表Join小表：广播变量容不下小表怎么办.html (1.88 MB)

  *   08 27 大表Join小表：广播变量容不下小表怎么办.mp3 (19.24 MB)

  *   09 28 大表Join大表（一）：什么是“分而治之”的调优思路.html (1.60 MB)

  *   09 28 大表Join大表（一）：什么是“分而治之”的调优思路.mp3 (14.17 MB)

  *   10 29 大表Join大表（二）：什么是负隅顽抗的调优思路.html (3.63 MB)

  *   10 29 大表Join大表（二）：什么是负隅顽抗的调优思路.mp3 (16.03 MB)

  *   11 30｜应用开发：北京市小客车（汽油车）摇号趋势分析.html (3.64 MB)

  *   11 30｜应用开发：北京市小客车（汽油车）摇号趋势分析.mp3 (17.51 MB)

  *   12 31 性能调优：手把手带你提升应用的执行性能.html (5.43 MB)

  *   12 31 性能调优：手把手带你提升应用的执行性能.mp3 (25.25 MB)

*   05 特别放送/

  *   01 Spark UI（上） 深入解读Spark作业的“体检报告”.html (3.46 MB)

  *   01 Spark UI（上） 深入解读Spark作业的“体检报告”.mp3 (1.34 MB)

  *   02 Spark UI（下）：深入解读Spark作业的“体检报告”.html (4.73 MB)

  *   02 Spark UI（下）：深入解读Spark作业的“体检报告”.mp3 (1.08 MB)

*   06 结束语/

  *   01 期末考试 “Spark性能调优”100分试卷等你来挑战！.html (0.28 MB)

  *   02 结束语 在时间面前，做一个笃定学习的人.html (0.80 MB)

  *   02 结束语 在时间面前，做一个笃定学习的人.mp3 (10.87 MB)