如果你已经在用 Hive 或 MapReduce 处理数据，但越来越频繁地遇到「跑得太慢」「写起来太啰嗦」这两个问题，那 Spark 大概率是你下一件该上手的事。这个资料包解决的就是从「听说过 Spark」到「能自己写作业跑出结果」这一段，不涉及 AI、不绕路讲 Scala 语言基础，主线始终是 Spark 本身。
它对应哪些实际工作场景
最典型的是三类活。第一类，离线数仓里那些跑几小时的聚合任务，需要换成内存计算来提速，这对应 RDD 和 Spark SQL 部分。第二类，日志、埋点这类数据要边到边算，对应 Structured Streaming，课程里有一个完整的案例实操，从需求分析一路做到结果输出。第三类，任务跑起来之后总出问题——数据倾斜、shuffle 写爆磁盘、阶段划分不合理，课程后半段对这些调优话题有专门拆解，不是只教你怎么把代码敲对。
学完能独立做什么
按资料的推进顺序，学完能拿下的动作大致是：用 RDD 的转换算子和行动算子把一批原始数据清洗成结构化结果；用 Spark SQL 建表、写查询，把 SQL 逻辑和 DataFrame 操作对应起来；看懂提交任务时的参数含义，知道并行度、分区数变化会影响什么；遇到 Streaming 场景，能照着案例把需求拆成算子链并跑通。这些都是能直接对应到日常需求的能力，不是停留在概念层面。
资料结构和使用方式
包里是视频加配套源码与课件两条线。视频按知识点切片，每段不长，适合通勤或午休时一段一段看；源码和课件的作用是让你不用纯靠记忆复现示例，遇到算子行为和你预期不一致时，可以直接对着原始工程调试。建议的用法是：先看一段视频，暂停，自己照着写一遍，再跑源码里对应的那份做对照。这个顺序比先看完再练有用得多，因为 Spark 的坑大多在运行阶段才暴露。
需要提醒一点：资料没有回避源码和配置细节，如果你之前完全没接触过分布式计算，前期会比较吃力。它有 Scala 与 Java 两条常见写法，跟着一条走就好，不必两边都啃。
适合什么基础的人
- 手上有 SQL 或 Python 基础，想补一套大数据处理工具——合适，Spark SQL 部分衔接顺畅。
- 正在用 Hadoop 生态，想把慢任务换掉——合适，RDD 与调优部分是重点。
- 零编程经验、只想了解一下大数据概念——不合适，练习环节跟不上，收获会打折。
- 已经在用 Spark、想找调优思路——可以挑着看阶段划分和数据倾斜那几段，不用从头刷。
最后一句实话：Spark 的难度不在语法，在理解和调资源。这套资料的优势是案例多、讲得细，适合当成一本可以反复回看的操作手册，而不是一次看完就过的东西。买之前先确认自己有能跑起来的练习环境，否则再全的资料也只是视频。
课程目录
📁 视频 视频文档.png [493.5 KB] P209.1 92 - Spark - Streaming - 案例实操 - 需求一 - 需求分析.mp4 [22.5 MB] P100. 93 - Spark - RDD - 阶段的划分.mp4 [33.2 MB] P178.1 63 - Spark - SQL - 案例实操 - 问题解释.mp4 [5.2 MB] P50. 47 - Spark - RDD - 转换算子 - flatMap.mp4 [20.2 MB] P12. 11 - Spark - 环境 - 独立部署环境Standalone - HA高可用.mp4 [38.1 MB] P112.1 04 - Spark - 累加器 - 自定义累加器的创建和使用 - 2.mp4 [42.6 MB] P193.5 15 - Spark - 课程内容回顾 - SparkSQL.mp4 [71.6 MB] P139.1 28 - Spark - 案例实操 - 需求二 - 优化.mp4 [19.2 MB] P96. 89 - Spark - RDD - 行动算子 - 序列化 - Kryo框架.mp4 [46.4 MB] P84. 77 - Spark - RDD - 转换算子 - sortByKey - 自定义key.mp4 [14.0 MB] P130.1 19 - Spark - 案例实操 - 需求一 - 功能实现 - 2.mp4 [32.0 MB] P199.1 82 - Spark - Streaming - 优雅地关闭 - 演示补充.mp4 [9.3 MB] P5. 04 - Spark - 案例 - WordCount - 环境准备.mp4 [36.3 MB] P7. 06 - Spark - 案例 - WordCount - 功能补充.mp4 [27.3 MB] P34. 31 - Spark - RDD - makeRDD分区数据存储的演示.mp4 [31.3 MB] P37. 34 - Spark - RDD - textfile分区数据存储的原理说明.mp4 [50.6 MB] P78. 72 - Spark - RDD - 转换算子 - combineByKey 演示&说明.mp4 [26.3 MB] P65. 59 - Spark - RDD - 转换算子 - 双value的数据操作 - 问题解答.mp4 [17.0 MB] P109.1 01 - Spark - 累加器 - 介绍.mp4 [39.1 MB] P55.5 04 - Spark - 直播间问题答疑 - RDD.mp4 [21.0 MB] P148.1 36 - Spark - SQL - 介绍补充.mp4 [18.7 MB] P14. 13 - Spark - 环境 - Yarn环境 - 历史服务（未演示）.mp4 [11.1 MB] P104. 96 - Spark - RDD - 持久化 - 缓存.mp4 [33.4 MB] P210.1 93 - Spark - Streaming - 案例实操 - 需求一 - 功能实现 - 1.mp4 [67.8 MB] P206.1 89 - Spark - Streaming - 案例实操 - 生产数据 - 梳理 - 2.mp4 [24.6 MB] P156.1 44 - Spark - SQL - DataSet & DataFrame转换.mp4 [22.1 MB] P147.1 35 - Spark - SQL - 介绍.mp4 [32.5 MB] P153.1 41 - Spark - SQL - 基本API演示 - DSL语法.mp4 [22.5 MB] P162.1 50 - Spark - SQL - UDAF - 方法重写 - 2.mp4 [27.6 MB] P129.1 18 - Spark - 案例实操 - 需求一 - 功能实现 - 1.mp4 [23.9 MB] P229.2 14 - Spark - 内核 - 通信 - 原理介绍.mp4 [44.4 MB] P40. 37 - Spark - RDD - textfile分区数据存储的原理说明 - 多文件.mp4 [27.7 MB] P82. 75 - Spark - RDD - 转换算子 - 聚合算子的区别.mp4 [39.8 MB] P202.1 85 - Spark - Streaming - 案例实操 - 生成模拟数据 - 1.mp4 [19.7 MB] P81. 74 - Spark - RDD - 转换算子 - 去重思路.mp4 [10.4 MB] P165.1 53 - Spark - SQL - 通用的读取功能.mp4 [62.8 MB] P23. 22 - Spark - RDD - RDD的核心属性.mp4 [39.9 MB] P45. 42 - Spark - RDD - 转换算子 - map - 小练习.mp4 [23.0 MB] P62. 56 - Spark - RDD - 转换算子 - sortBy.mp4 [11.6 MB] P196.1 79 - Spark - Streaming - 输出.mp4 [21.8 MB] P94. 87 - Spark - RDD - 行动算子 - 序列化.mp4 [54.2 MB] P118.1 10 - Spark - 案例实操 - 框架 - 封装.mp4 [32.5 MB] P47. 44 - Spark - RDD - 转换算子 - mapPartitions - 小练习.mp4 [14.6 MB] P30.5 02 - Spark - 同学问题解答 - windows环境的文件路径问题.mp4 [7.3 MB] P200.1 83 - Spark - Streaming - 优雅地关闭 - 检查点操作.mp4 [17.7 MB] P171.1 59 - Spark - SQL - 外置Hive的访问.mp4 [19.7 MB] P10. 09 - Spark - 环境 - 独立部署环境Standalone.mp4 [49.3 MB] P185.1 70 - Spark - Streaming - 队列采集数据.mp4 [19.2 MB] P228.2 13 - Spark - 内核 - 架构梳理 - Yarna - Cluster.mp4 [51.5 MB] P144.1 32 - Spark - 案例实操 - 需求三 - 功能实现 - 计算分子.mp4 [37.9 MB] P33. 30 - Spark - RDD - makeRDD的分区的设置.mp4 [38.4 MB] P105. 97 - Spark - RDD - 持久化 - 缓存.mp4 [55.6 MB] P137.1 26 - Spark - 案例实操 - 需求二 - 功能实现.mp4 [47.9 MB] P43. 40 - Spark - RDD - 转换算子 - map实现原理.mp4 [25.1 MB] P49. 46 - Spark - RDD - 转换算子 - mapPartitionsWithIndex.mp4 [28.1 MB] P124.1 13 - Spark - 问题答疑 - 2.mp4 [72.5 MB] P74. 68 - Spark - RDD - 转换算子 - aggregateByKey.mp4 [41.4 MB] P151.1 39 - Spark - SQL - 基本API演示.mp4 [33.8 MB] P224.2 08 - Spark - 内核 - 知识点梳理 - 源码解析 - AM申请资源并对资源进行匹配.mp4 [70.2 MB] P131.1 20 - Spark - 案例实操 - 需求一 - 功能优化 - 1.mp4 [52.0 MB] P38. 35 - Spark - RDD - textfile分区数据存储的原理说明 - 1.mp4 [33.1 MB] P133.1 22 - Spark - 案例实操 - 需求一 - 功能优化 - 3.mp4 [50.8 MB] P220.2 03 - Spark - 内核 - 知识点梳理.mp4 [28.4 MB] P232.5 18 - Spark - 课程内容回顾 - SparkStreaming - 案例实操.mp4 [38.3 MB] P161.1 49 - Spark - SQL - UDAF - 方法重写 - 1.mp4 [56.2 MB] P190.1 75 - Spark - Streaming - join.mp4 [8.3 MB] P223.2 06 - Spark - 内核 - 知识点梳理 - 源码解析 - 向Yarn发送指令启动AM.mp4 [75.2 MB] P155.1 43 - Spark - SQL - DataSet & RDD转换.mp4 [23.6 MB] P158.1 46 - Spark - SQL - IDEA开发SparkSQL程序 - 演示基本操作.mp4 [33.0 MB] P149.1 37 - Spark - SQL - DataFrame.mp4 [21.7 MB] P121.5 08 - Spark - 11种不同算子实现的wordCount.mp4 [56.2 MB] P174.5 12 - Spark - 考试题目 - 解析.mp4 [116.4 MB] P107. 99 - Spark - RDD - 持久化 - 检查点 & cache的关系.mp4 [11.5 MB] P70. 64 - Spark - RDD - 转换算子 - reduceByKey.mp4 [22.0 MB] P123.1 12 - Spark - 问题答疑 - 1.mp4 [32.2 MB] P76. 70 - Spark - RDD - 转换算子 - foldByKey.mp4 [22.0 MB] P79.5 05 - Spark - 课程内容回顾.mp4 [77.0 MB] P115.1 07 - Spark - 广播变量 - 原理说明 & 演示.mp4 [10.1 MB] P92. 85 - Spark - RDD - 行动算子 - 乱码问题.mp4 [14.9 MB] P219.2 02 - Spark - Streaming - 案例实操 - 需求三 - 数据生成.mp4 [10.2 MB] P20. 19 - Spark - RDD - 介绍.mp4 [36.9 MB] P88. 81 - Spark - RDD - 案例实操 - 功能实现.mp4 [55.5 MB] P99. 92 - Spark - RDD - 依赖关系 - 宽依赖 & 窄依赖 图形演示.mp4 [24.4 MB] P111.1 03 - Spark - 累加器 - 自定义累加器的创建和使用 - 1.mp4 [34.1 MB] P2. 01 - Spark - 概念介绍.mp4 [26.0 MB] P75. 69 - Spark - RDD - 转换算子 - aggregateByKey 演示和说明.mp4 [29.6 MB] P18. 17 - Spark - 核心概念.mp4 [18.6 MB] P68. 62 - Spark - RDD - 转换算子 - 自定义分区器.mp4 [36.9 MB] P69. 63 - Spark - RDD - 转换算子 - partitionBy问题解答.mp4 [17.9 MB] P122.5 09 - Spark - 课程内容回顾 - 阶段划分.mp4 [52.3 MB] P31. 28 - Spark - RDD - RDD概念梳理.mp4 [26.0 MB] P214.1 97 - Spark - Streaming - 案例实操 - 需求一 - 扩展.mp4 [53.8 MB] P72. 66 - Spark - RDD - 转换算子 - groupByKey实现原理.mp4 [37.1 MB] P41. 38 - Spark - RDD - 算子 - 介绍.mp4 [21.9 MB] P110.1 02 - Spark - 累加器 - 原理和演示.mp4 [38.0 MB] P16. 15 - Spark - 环境 - 部署方式对比 & 端口号总结.mp4 [18.5 MB] P217.1 99 - Spark - Streaming - 案例实操 - 需求三 - 需求分析.mp4 [26.0 MB] P93. 86 - Spark - RDD - 行动算子 - foreach.mp4 [31.1 MB] P87. 80 - Spark - RDD - 案例实操 - 需求分析.mp4 [40.9 MB] 适合人群 大数据初学者 Spark爱好者 有志于从事大数据开发 学习收获 掌握Spark核心概念 学会Spark操作 提升大数据开发能力 祝您学习愉快！ 学有所成，前程似锦！
