**先看清它解决什么实际痛点**

这套内容聚焦于 Spark 生态体系的核心计算逻辑，主要面向需要处理海量数据、构建实时或离线数仓的开发者。它不泛泛而谈大数据概念，而是深入源码层面讲解 Spark 的运行机制、任务调度及优化策略。对于在实际工作中遇到数据倾斜、作业运行缓慢、资源分配不合理等具体故障的工程师，或者希望从单纯的 Hadoop 生态迁移到 Spark 以便提升开发效率的团队而言，这种源码级的剖析能帮你建立底层的直觉，而不仅仅是死记 API。如果你目前只是在写简单的 Python 脚本或处理小量数据，这门课的深度可能显得过重，性价比不高；但如果你正面临大规模数据工程挑战，或准备深入底层原理以应对复杂的技术面试，它的针对性很强。

**适合什么基础，建议怎么看**

前提是你得具备扎实的 Java 编程基础，熟悉 JVM 内存模型和线程池原理，并且已经掌握了 Hadoop HDFS 和 MapReduce 的基本概念。如果对 Java 闭包、集合操作或面向对象设计模式还模糊不清，直接啃源码讲解会非常吃力，建议先回头补 Java 核心知识。资料采用“源码级讲解”策略，这意味着讲师会花大量时间拆解代码执行流程，而非简单演示操作步骤。建议的学习路径是：先集中攻克 Spark 核心架构（如 DAG 调度、Stage 与 Task 的关系）和 RDD 原理，这是理解后续所有高级特性的基石。不要试图一次性看完所有模块，而是边看视频边在自己的环境中运行示例代码，重点调试那些讲解到的关键源码片段。对于 Spark SQL、Streaming 或 MLlib 等扩展模块，建议作为第二阶段学习，先确保对核心计算模型的掌握足够扎实，否则很容易陷入“只会调包不懂原理”的困境。

**学完能独立做什么，资料如何配合**

完成系统学习后，你应当具备独立构建和优化 Spark 大数据应用的能力。具体表现为：能够根据业务场景选择合适的计算引擎（Core、SQL、Streaming），通过阅读日志和监控指标定位并解决数据倾斜、内存溢出等常见性能瓶颈；能够基于源码逻辑修改或扩展 Spark 功能以适配特殊需求；在技术面试中，能清晰地阐述 Shuffle 过程、推测执行机制等底层细节，而非仅停留在配置项层面。资料包中除了视频，通常包含配套的代码工程或笔记，请务必下载并在本地 IntelliJ IDEA 中完整编译运行，不要只看不练。建议将源码中的核心类（如 SparkContext、JobScheduler、TaskSchedulerImpl）打断点调试，结合视频讲解逐步跟踪执行流程。这种“视频理论 + 本地源码调试 + 性能调优实践”的闭环，是将知识转化为生产力的关键。避免把这门课当作轻松入门指南，它更适合愿意花时间深入钻研、追求技术深度的工程师反复打磨。

课程目录

├──01_scala语言、函数式编程、数据集处理、iterator设计模式实现/ │ └── [1.9G] 01_scala语言.mp4
 ├──02_scala语言、流程控制、高级函数/ │ └── [1.3G] 01_scala语言、流程控制、高级函数.mp4
 ├──03_scala语言、集合容器、iterator设计模式源码分析/ │ └── [1.7G] 01_scala语言、集合容器.mp4
 ├──04_scala语言、match、case class、implicitt、spark wordcount/ │ └── [1.8G] 01_scala语言.mp4
 ├──05_spark-core、复习hadoop生态、梳理术语、hadoopRDD 源码分析/ │ └── [1.8G] 01_spark-core、复习hadoop生态、梳理术语.mp4
 ├──06_spark-core、wordcount案例源码分析、图解/ │ └── [1.9G] 01_spark-core、wordcount案例源码分析、图解.mp4
 ├──07_spark-core、集合操作API、pvuv分析、RDD源码分析/ │ └── [1.9G] 01_spark-core、集合操作API、pvuv分析.mp4
 ├──08_spark-core、聚合计算API、combineByKey、分区调优/ │ └── [1.9G] 01_spark-core、聚合计算API、combineByKey.mp4
 ├──09_spark-core、二次排序、分组取TopN、算子综合应用/ │ └── [2.0G] 01_spark-core、二次排序、分组取TopN.mp4
 ├──10_spark-core、集群框架图解、角色功能介绍、官网学习 、搭建/ │ └── [1.9G] 01_spark-core、集群框架图解、角色功能介绍.mp4
 ├──11_spark-core、history服务、standaloneHA、资源调度参数/ │ └── [1.9G] 01_spark-core、history服务、standaloneHA.mp4
 ├──12_spark-core、基于yarn的集群搭建、配置、资源调度参数、优化jars/ │ └── [1.3G] 01_spark-core、基于yarn的集群搭建、配置.mp4
 ├──13_spark-core-源码、RpcEnv、standaloneMaster启动分析/ │ └── [2.0G] 01_spark-core-源码.mp4
 ├──14_spark-core-源码、Worker启动、sparksubmit提交、Driver启动/ │ └── [2.0G] 01_spark-core-源码.mp4
 ├──15_park-core-源码、Application注册、Executor资源申请/ │ └── [1.9G] 01_park-core-源码.mp4
 ├──16_spark-core-源码、sparkContext、DAGScheduler、stage划分/ │ └── [2.0G] 01_spark-core-源码.mp4
 ├──17_spark-core-源码、TaskScheduler、Executor运行Task、SparkEnv/ │ └── [2.1G] 01_spark-core-源码.mp4
 ├──18_spark-core-源码、MemoryManager、BlockManager/ │ └── [2.0G] 01_spark-core-源码.mp4
 ├──19_spark-core-源码、Dependency、SortShuffleManager/ │ └── [2.0G] 01_spark-core-源码.mp4
 ├──20_spark-core-源码、SortShuffleWriter、内存缓冲区buffer/ │ └── [1.9G] 01_spark-core-源码.mp4
 ├──21_spark-core-源码、SortShuffleWriter、内存缓冲区buffer/ │ └── [2.4G] 01_spark-core-源码.mp4
 ├──22_spark-core-源码、UnsafeShuffleWriter、Tungsten、Unsafe、堆外/ │ └── [1.9G] 01_spark-core-源码.mp4
 ├──23_spark-core-源码、ShuffleReader、Tracker、Scheduler完整调度/ │ └── [2.3G] 01_spark-core-源码.mp4
 ├──24_spark-core-源码、RDD持久化、检查点、广播变量、累加器/ │ └── [2.1G] 01_spark-core-源码.mp4
 ├──25_spark-core-源码、RDD持久化、检查点、广播变量、累加器/ │ └── [2.3G] 01_spark-core-源码.mp4
 ├──26_spark-sql、大数据中的SQL组成原理/ │ └── [1.7G] 01_spark-sql、大数据中的SQL组成原理.mp4
 ├──27_spark-sql、datafram到dataset开发/ │ └── [2.2G] 01_spark-sql、datafram到dataset开发.mp4
 ├──28_spark-sql、整合hive的metastore搭建企业级数仓1/ │ └── [1.9G] 01_spark-sql.mp4
 ├──29_spark-sql、整合hive的metastore搭建企业级数仓2/ │ └── [1.8G] 01_spark-sql.mp4
 ├──30_spark-sql、复杂sql、函数、自定义函数、开窗over函数、OLAP/ │ └── [1.6G] 01_spark-sql.mp4
 ├──31_spark-sql-源码、sql解析、dataset到rdd的执行计划/ │ └── [2.1G] 01_spark-sql.mp4
 ├──32_spark-sql-源码、antlr4的sql解析、AST语法树的逻辑到物理转换/ │ └── [1.5G] 01_spark-sql.mp4
 ├──33_spark-sql-源码、逻辑计划、优化器、物理计划、转换RDD/ │ └── [1.8G] 01_spark-sql.mp4
 ├──34_spark-streaming、流式计算之微批计算原理及standalone/ │ └── [1.8G] 01_spark-streaming.mp4
 ├──35_spark-streaming、api、ha、检查点、窗口等机制/ │ └── [1.8G] 01_spark-streaming.mp4
 ├──36_spark-streaming、整合MQ-kafka开发/ │ └── [2.4G] 01_spark-streaming.mp4
 ├──37_spark-streaming、源码分析、流式微批任务的调度原理/ │ └── [2.1G] 01_spark-streaming.mp4
 ├──38_spark-streaming/ │ └── [2.3G] 01_spark-streaming.mp4