**Spark 基础及源码分析：从 Scala 根基到分布式核心**

在大数据生态系统中，Apache Spark 以其内存计算的高效性成为实时数据处理的事实标准。然而，许多开发者在深入学习 Spark 时往往陷入“只会用 API，不懂底层原理”的困境，更糟糕的是，由于缺乏对 Scala 语言的扎实掌握，面对 Spark 源码时如同阅读天书。本课程正是为了打破这一壁垒而生，它并非单纯的 API 速成班，而是一条从语言底层语法构建到 Spark 核心机制理解的完整进阶之路。

课程的首要任务是夯实 Scala 语言根基。正如章节标题所示，第一章全面覆盖 Scala 环境安装、基本语法及开发工具配置。对于习惯了 Java 或 Python 的学习者而言，Scala 的函数式编程范式、类型推断机制以及丰富的集合库是一个全新的世界。课程并未急于进入大数据领域，而是花费大量篇幅详解变量声明、七种值类型、条件表达式、for 循环等高阶特性，并深入剖析数组、映射（Map）、元组（Tuple）以及 Seq、Set 等集合类型的差异与应用场景。这部分内容至关重要，因为 Scala 是 Spark 的原生开发语言，只有真正理解“不可变集合”、“高阶函数”和“模式匹配”背后的逻辑，才能在后续阅读 Spark 源码时顺畅无阻。

第二章则聚焦于“常用方法练习”，旨在通过实战强化函数式编程思维。内容涵盖 `lazy` 关键字的延迟加载机制，这直接影响 Spark 任务的执行效率；更重要的是，课程深入讲解了 `map`、`filter`、`reduce` 和 `fold` 等核心高阶函数。这些方法不仅是 Scala 集合操作的基础，更是 Spark RDD 算子设计的核心逻辑原型。例如，`reduce` 和 `fold` 的并行计算思想直接对应了 Spark 中的聚合操作。通过这一阶段的刻意练习，学习者将完成从命令式编程到声明式、函数式编程的思维转变，为后续理解 Spark 的 DAG（有向无环图）执行引擎打下坚实的代码认知基础。

本课程适合希望深入理解 Spark 架构、具备一定编程基础但 Scala 薄弱的数据工程师、后端开发人员及大数据研究者。它不仅教你“怎么写”，更引导你思考“为什么这样写”。掌握本课内容后，你将具备直接阅读 Spark 核心组件源码的能力，从而在面对生产环境的性能瓶颈时，能够从源码层面定位问题，设计出更高效、更稳定的大数据处理方案。这是一次从语法入门到原理精通的系统性修炼，值得每一位追求技术深度的开发者投入时间。

课程目录

1-1 [Scala语言环境安装、Scala的基本语法] 认识Scala (09:06).mp4
 1-2 [Scala语言环境安装、Scala的基本语法] 安装开发环境 (05:41).mp4
 1-3 [Scala语言环境安装、Scala的基本语法] Scala Shell、用IDEA创建Maven项目 (14:46).mp4
 1-4 [Scala语言环境安装、Scala的基本语法] 配置Maven本地仓库、导入切换项目等其它配置 (07:26).mp4
 1-5 [Scala语言环境安装、Scala的基本语法] 变量的声明 (06:19).mp4
 1-6 [Scala语言环境安装、Scala的基本语法] Scala的7种值类型和条件表达式 (08:07).mp4
 1-7 [Scala语言环境安装、Scala的基本语法] for循环 (12:50).mp4
 1-8 [Scala语言环境安装、Scala的基本语法] 方法和函数的声明以及方法转换成函数 (17:36).mp4
 1-9 [Scala语言环境安装、Scala的基本语法] 数组 (20:10).mp4
 1-

10 [Scala语言环境安装、Scala的基本语法] 映射 (08:37).mp4
 1-

11 [Scala语言环境安装、Scala的基本语法] 元组 (12:15).mp4
 1-

12 [Scala语言环境安装、Scala的基本语法] 集合之Seq (18:09).mp4
 1-

13 [Scala语言环境安装、Scala的基本语法] 集合之Set (07:31).mp4
 1-

14 [Scala语言环境安装、Scala的基本语法] 集合之Map (05:27).mp4
 2-1 [常用方法练习] lazy关键字 (10:39).mp4
 2-2 [常用方法练习] 函数式编程练习之常用方法 (25:51).mp4
 2-3 [常用方法练习] 函数式编程之reduce (14:06).mp4
 2-4 [常用方法练习] 函数式编程之fold (08:16).mp4
 2-5 [常用方法练习] 函数式编程之aggregate (06:54).mp4
 2-6 [常用方法练习] 函数式编程之交并差集 (02:54).mp4
 2-7 [常用方法练习] Scala实现WordCount (18:58).mp4
 3-1 [面向对象、模式匹配] 创建类、属性 (20:16).mp4
 3-2 [面向对象、模式匹配] 构造器、辅助构造器 (20:14).mp4
 3-3 [面向对象、模式匹配] 单例对象 (14:46).mp4
 3-4 [面向对象、模式匹配] 伴生对象 (10:05).mp4
 3-5 [面向对象、模式匹配] apply和unapply方法 (22:40).mp4
 3-6 [面向对象、模式匹配] private关键字 (14:16).mp4
 3-7 [面向对象、模式匹配] 特质、抽象类、继承、重写、实现等 (19:37).mp4
 3-8 [面向对象、模式匹配] 模式匹配之匹配字符串 (09:26).mp4
 3-9 [面向对象、模式匹配] 模式匹配之匹配类型 (07:13).mp4
 3-

10 [面向对象、模式匹配] 式匹配之匹配数组、元组、集合 (18:33).mp4
 3-

11 [面向对象、模式匹配] 模式匹配之样例类 (09:15).mp4
 3-

12 [面向对象、模式匹配] 模式匹配之偏函数 (08:41).mp4
 4-1 [Actor、柯里化、隐式转换] 作为值的函数 (07:41).mp4
 4-2 [Actor、柯里化、隐式转换] 柯里化概念及声明方式 (17:08).mp4
 4-3 [Actor、柯里化、隐式转换] 柯里化练习 (10:19).mp4
 4-4 [Actor、柯里化、隐式转换] 隐式转换和隐式参数 (10:54).mp4
 4-5 [Actor、柯里化、隐式转换] 隐式转换练习1-1 (14:11).mp4
 4-6 [Actor、柯里化、隐式转换] 隐式转换练习2-1 (17:56).mp4
 4-7 [Actor、柯里化、隐式转换] 泛型 (11:35).mp4
 4-8 [Actor、柯里化、隐式转换] upperbound (12:20).mp4
 4-9 [Actor、柯里化、隐式转换] viewbound (15:48).mp4
 4-

10 [Actor、柯里化、隐式转换] contextbound (10:12).mp4
 5-1 [泛型、Akka] actor概念 (10:07).mp4
 5-2 [泛型、Akka] actor实例之创建actor (07:21).mp4
 5-3 [泛型、Akka] actor实例之消息的接收与发送（异步没有返回值） (19:27).mp4
 5-4 [泛型、Akka] actor实例之消息的接收与发送（同步有返回值） (04:29).mp4
 5-5 [泛型、Akka] actor实例之消息的接收与发送（异步有返回值） (08:11).mp4
 5-6 [泛型、Akka] actor实例之并行编程思想实现单词计数 (30:00).mp4
 5-7 [泛型、Akka] akka简介 (09:50).mp4
 5-8 [泛型、Akka] akka案例需求分析 (07:41).mp4
 5-9 [泛型、Akka] akka案例代码分析 (20:35).mp4
 6-1 [Spark集群安装、Spark任务提交] spark简介 (11:13).mp4
 6-2 [Spark集群安装、Spark任务提交] spark集群搭建、启动 (06:20).mp4
 6-3 [Spark集群安装、Spark任务提交] spark Shell.启动和提交任务 (11:46).mp4
 6-4 [Spark集群安装、Spark任务提交] spark Wordcount (18:55).mp4
 6-5 [Spark集群安装、Spark任务提交] 上传并执行任务 (12:28).mp4
 7-1 [RDD的基本概念、常用算子练习] rdd的概念 (12:50).mp4
 7-2 [RDD的基本概念、常用算子练习] 生成rdd的两种方式 (05:11).mp4
 7-3 [RDD的基本概念、常用算子练习] 两种类型的算子：transformation和actio (18:17).mp4
 7-4 [RDD的基本概念、常用算子练习] 常用算子练习1-1 (24:05).mp4
 7-5 [RDD的基本概念、常用算子练习] 常用算子练习2-1 (16:33).mp4
 8-1 [案例练习] 案例需求-求用户在某基站停留的时间-1 (12:32).mp4
 8-2 [案例练习] 案例实现-求用户在某基站停留的时间-2 (21:11).mp4
 8-3 [案例练习] 案例实现-求用户访问学科的子网页top (08:09).mp4
 8-4 [案例练习] 案例实现-求用户访问学科的子网页top3-chache (18:53).mp4
 9-1 [Spark集群启动流程和任务提交流程、案例练习] spark集群启动流程 (01).mp4
 9-2 [Spark集群启动流程和任务提交流程、案例练习] spark任务提交流程 (05:25).mp4
 9-3 [Spark集群启动流程和任务提交流程、案例练习] wordcount中创建了那些rdd (12:40).mp4
 9-4 [Spark集群启动流程和任务提交流程、案例练习] 案例分析实现-按照ip统计区域访问量 (21:33).mp4
 10-1 [RDD的依赖关系、Stage划分、任务的生成、自定义 排序] rdd之间的依赖关系 (10:48).mp4
 10-2 [RDD的依赖关系、Stage划分、任务的生成、自定义 排序] dag的生成和stage的划分 (11:07).mp4
 10-3 [RDD的依赖关系、Stage划分、任务的生成、自定义 排序] webui观察stage划分和任务的生成 (11:39).mp4
 10-4 [RDD的依赖关系、Stage划分、任务的生成、自定义 排序] 自定义二次排序 (22:46).mp4
 11-1 [Checkpoint、SparkSQL、Hive-on] checkpoint (15:39).mp4
 11-2 [Checkpoint、SparkSQL、Hive-on] sparksql介绍 (08:00).mp4
 11-3 [Checkpoint、SparkSQL、Hive-on] 创建dataframe (08:56).mp4
 11-4 [Checkpoint、SparkSQL、Hive-on] dataframe常用操作-dsl风格语法 (09:49).mp4
 11-5 [Checkpoint、SparkSQL、Hive-on] dataframe常用操作-sql风格语法 (03:10).mp4
 11-6 [Checkpoint、SparkSQL、Hive-on] 通过反射推断schema (17:39).mp4
 11-7 [Checkpoint、SparkSQL、Hive-on] 通过structtype直接指定schema (11:45).mp4
 11-8 [Checkpoint、SparkSQL、Hive-on] hive-on-spark (21:14).mp4
 12-1 [SparkStreaming、窗口操作、Spar-on] sparkstreaming简介 (08:43).mp4
 12-2 [SparkStreaming、窗口操作、Spar-on] sparkstreaming获取netcat产生的数据分析 (06:24).mp4
 12-3 [SparkStreaming、窗口操作、Spar-on] sparkstreaming实现按批次累加 (23:56).mp4
 12-4 [SparkStreaming、窗口操作、Spar-on] 窗口函数概念及使用场景 (17:04).mp4
 12-5 [SparkStreaming、窗口操作、Spar-on] 窗口函数实现wordcount (08:10).mp4
 12-6 [SparkStreaming、窗口操作、Spar-on] spark-on-yarn (25:37).mp4
 12-7 [SparkStreaming、窗口操作、Spar-on] 补充：sparkstreaming依赖 (33).mp4
 13-1 [Spark启动流程、Stage划分、任务生成、任务提交流程] 关于查看源码的一些介绍 (08:40).mp4
 13-2 [Spark启动流程、Stage划分、任务生成、任务提交流程] 导入源码 (04:57).mp4
 13-3 [Spark启动流程、Stage划分、任务生成、任务提交流程] 集群启动流程-master类 (22:52).mp4
 13-4 [Spark启动流程、Stage划分、任务生成、任务提交流程] 集群启动流程-worker类 (12:22).mp4
 13-5 [Spark启动流程、Stage划分、任务生成、任务提交流程] sparksubmit提交任务 (08:37).mp4
 13-6 [Spark启动流程、Stage划分、任务生成、任务提交流程] sparkcontext (16:45).mp4
 13-7 [Spark启动流程、Stage划分、任务生成、任务提交流程] 创建driveractor和clientactor的过程 (13:11).mp4
 13-8 [Spark启动流程、Stage划分、任务生成、任务提交流程] clientactor向master注册任务信息过程 (07:07).mp4
 13-9 [Spark启动流程、Stage划分、任务生成、任务提交流程] 任务调度的两种方式及master通知worker启动ex (10:34).mp4
 13-10 [Spark启动流程、Stage划分、任务生成、任务提交流程] executor向driveractor反向注册的过程 (05:57).mp4
 13-11 [Spark启动流程、Stage划分、任务生成、任务提交流程] rdd生成和stage划分 (20:20).mp4
 13-12 [Spark启动流程、Stage划分、任务生成、任务提交流程] 生成任务并提交 (05:57).mp4
 13-13 [Spark启动流程、Stage划分、任务生成、任务提交流程] task任务执行流程 (10:32).mp4