先说这门课在解决什么工作场景
很多做后端或刚接触数据开发的人，学 Spark 时卡在“能跑通 Demo，但不知道公司里怎么用”。这门课的切入角度比较具体：以智能物业运营系统为业务背景，把离线数据处理的完整链路拆开放进真实场景里讲。你处理的不再是抽象的日志算子，而是物业缴费、报修工单、设备运行这类有明确业务含义的数据。它解决的核心问题是：当一张表从几万行涨到几亿行，传统数据库跑不动时，你怎么用 Spark3 做批处理、清洗和聚合，并让结果支撑运营看板。如果你正准备往大数据方向转，或者在公司里被分到数据组但一直没摸到核心链路，这种带着业务主线走的设计比单纯讲 API 更能帮你建立工程感。
适合什么基础，建议先看哪几块
这门课默认你已经写过 Java 或 Scala，能看懂基本的集合操作和面向对象写法，但对分布式计算只停留在“听过 Hadoop”的阶段。如果你完全没碰过 Linux 命令行和 SQL，建议先补基础再看，否则环境部署和后续的 DataFrame 操作会卡得很痛苦。拿到资料后，不要从第一页按顺序啃。建议先看第一章里关于版本选择和 Spark 与 Hadoop 对比的部分，这决定了你后面用哪套生态；接着直接跳到环境部署章节，把本地或服务器上的运行环境跑通，这一步如果省掉，后面所有代码都只能看不能练。把环境跑通后，再回到原理章节对照着看，理解会扎实很多。
学完能独立做什么，资料怎么配合练习
把主线走完后，你应该能独立完成一个中等规模离线数仓的搭建：从原始数据接入、用 Spark Core 和 Spark SQL 做清洗转换，到把结果写回目标存储，整个流程能自己串起来。遇到新的业务需求，你能判断哪一步该用 RDD，哪一步该用 DataFrame，而不是只会套模板。资料配合方面，视频里讲到物业运营的业务逻辑时，一定要自己把数据集导进来跑一遍，改几个字段名和聚合维度，看看结果变化。每章后面的作业题和面试题不是摆设，建议看完一节就先做作业再看下一节，面试题则可以用来检验自己能不能把刚学的操作讲清楚。这门课的价值不在于让你背下多少算子，而在于让你经历过一次完整的“需求到落地”的离线处理流程。
课程目录
* 17-2 Catalog编程.mp4 11:01
* 17-3 学习源码的方法论.mp4 06:22
* 17-4 通过官方Slide回顾RDD及SparkSQL相关知识.mp4 06:37
* 17-5 通过官方Slide讲解Spark SQL框架的执行流程.mp4 15:58
* 17-6 通过终端运行方式理解Spark SQL框架的执行流程.mp4 08:15
* 17-7 通过代码运行方式理解Spark SQL框架的执行流程.mp4 06:35
* 17-8 新特性之动态分区裁剪引入.mp4 08:41
* 17-9 新特性之动态分区裁剪实现原理.mp4 07:24
* 17-10 新特性之AQE概述.mp4 04:37
* 17-11 新特性之AQE分区自动合并功能详解.mp4 13:20
* 17-12 新特性之AQEJoin策略调整功能详解.mp4 08:15
* 17-13 Spark SQL关于Hints的补充.mp4 01:46
* 17-14 作业题
* 17-15 面试题
* 第18章 数据开放服务解决方案：为大数据处理成果赋能/
* 18-1 课程目录.mp4 02:23
* 18-2 数据服务在大数据平台中的重要地位.mp4 09:57
* 18-3 DBAPI概述.mp4 07:58
* 18-4 DBAPI部署.mp4 10:20
* 18-5 数据源配置.mp4 02:34
* 18-6 API配置.mp4 06:01
* 18-7 客户端设置.mp4 03:59
* 18-8 系统设置及监控.mp4 03:42
* 18-9 作业及总结.mp4 04:55
* 18-10 作业题
* 第19章 智能调度系统解决方案：DS在生产上的使用/
* 19-1 课程目录.mp4 01:43
* 19-2 调度系统在大数据平台中的重要性.mp4 07:34
* 19-3 初识DS.mp4 06:29
* 19-4 核心名词解释.mp4 13:21
* 19-5 Standalone模式部署.mp4 08:04
* 19-6 工作流的定义及运行实操.mp4 10:25
* 19-7 工作流定时管理.mp4 03:43
* 19-8 数据源中心配置.mp4 02:06
* 19-9 任务类型之shell的使用.mp4 04:54
* 19-10 任务类型之SQL的使用.mp4 02:58
* 19-11 任务类型之HiveCli script的使用.mp4 02:53
* 19-12 任务类型之hivecli file的使用.mp4 02:58
* 19-13 任务类型之Spark3的使用.mp4 04:46
* 19-14 安全中心之租户用户队列.mp4 04:04
* 19-15 安全中心之Worker分组及环境.mp4 03:33
* 19-16 安全中心之告警.mp4 04:53
* 第20章 热门数据湖的技能拓展：基于Spark&Iceberg构建数据湖/
* 20-1 课程目录.mp4 00:41
* 20-2 Iceberg简介.mp4 09:37
* 20-3 Iceberg特性.mp4 13:19
* 20-4 整合Hive准备工作.mp4 04:20
* 20-5 整合Hive结合Catalog创建表详解.mp4 17:12
* 20-6 Iceberg整合Hive的DDL与DML详解.mp4 10:00
* 20-7 Iceberg存储结构.mp4 15:29
* 20-8 整合Spark查询元数据信息.mp4 04:56
* 20-9 整合Spark完成时间线查询及回滚操作.mp4 08:22
* 20-10 动手拓展.mp4 01:41
* 第21章 AI大模型使用进阶：整合SQL在大数据中的使用/
* 21-1 课程目录.mp4 04:13
* 21-2 LangChain概述.mp4 07:19
* 21-3 LangChain整合OpenAI和Tongyi模型.mp4 06:53
* 21-4 LangChain整合SQLDatabaseChain完成SQL的处理.mp4 11:10
* 21-5 pyspark-ai.mp4 09:20
* 第22章 高手成长路线之挖祖坟：Spark核心源码分析/
* 22-1 课程目录.mp4 04:35
* 22-2 核心概念回顾.mp4 08:49
* 22-3 从宏观角度理解作业的执行原理.mp4 13:41
* 22-4 foreach算子源码分析.mp4 07:44
* 22-5 补充两个Scheduler的初始化.mp4 06:37
* 22-6 DAGScheduler中的runJob方法详解.mp4 20:54
* 22-7 handleJobSubmitted方法实现源码分析.mp4 08:51
* 22-8 TaskScheduler的submitTask方法源码分析.mp4 10:49
* 22-9 task任务执行源码分析.mp4 05:24
* 22-10 通过日志输出来学习框架底层的执行流程.mp4 08:18
* 22-11 Spark作业执行流程图解.mp4 01:06
* 22-12 为什么会产生数据倾斜.mp4 07:11
* 22-13 如何定位导致数据倾斜的代码.mp4 10:44
* 22-14 数据倾斜解决方案一.mp4 04:00
* 22-15 数据倾斜解决方案二.mp4 02:19
* 22-16 数据倾斜解决方案三.mp4 04:31
* 22-17 数据倾斜解决方案四.mp4 05:12
* 22-18 数据倾斜解决方案五.mp4 03:28
* 22-19 数据倾斜解决方案六.mp4 09:49
* 第23章 智能物业运营系统第四篇：以企业级项目要求实战/
* 23-1 课程目录.mp4 01:28
* 23-2 项目背景描述.mp4 12:18
* 23-3 数据流分析.mp4 12:47
* 23-4 数据源表结构分析.mp4 06:40
* 23-5 停车收入统计结果入表.mp4 07:36
* 23-6 停车收入大屏展示.mp4 08:32
* 23-7 趋势分析统计结果入表.mp4 04:01
* 23-8 趋势分析大屏展示.mp4 00:53
* 23-9 放行及抬杠原因次数及占比统计结果入表.mp4 02:51
* 23-10 放行及抬杆原因次数及占比分析大屏展示.mp4 01:56
* 23-11 区域提杆率统计结果入表.mp4 03:11
* 23-12 区域提杆率大屏展示-.mp4 00:50
* 23-13 扩展.mp4 05:59
* 23-14 课程小结.mp4 05:54
