**课程导读：深入 Spark SQL 核心，掌握分布式数据分析利器**

在大数据生态体系中，Spark 无疑是最耀眼的明星，而 Spark SQL 则是其中应用最广泛、门槛相对最低、功能最强大的模块。本课程《老汤 Spark 2.x 实战应用系列七之 Spark SQL》旨在帮助开发者从零开始，系统性地掌握 Spark SQL 的核心概念与实战技能，无论你是 Scala 还是 Python 开发者，都能在这里找到对应的学习路径。

**为什么学习 Spark SQL？**

传统的 MapReduce 编程模型复杂且性能瓶颈明显，而 Spark SQL 基于 DAG（有向无环图）的执行引擎，提供了高性能的分布式数据处理能力。它允许用户以类 SQL 的语法查询数据，极大地降低了数据分析的门槛，同时支持 Hive 兼容接口，方便企业平滑迁移。更重要的是，Spark SQL 实现了 DataFrame 和 Dataset 两种高层抽象数据结构，使得代码更具表达力，执行计划更优化。

**课程内容全景解析**

本课程共分为四个核心模块，层层递进，理论与实践并重：

**1. 环境搭建与基础概念**
课程开篇首先介绍了课程所需的技术环境，确保学习者能够顺利搭建开发平台。随后深入讲解 Spark SQL 的基本概念，包括其底层架构与 Hive 的关系，并通过 Scala 和 Python 两个版本，让学员快速“浅尝” Spark SQL 的 API 用法，建立直观认识。重点讲解了 `SparkSession` 的核心作用，它是 Spark SQL 程序的统一入口，替代了旧版的 `SQLContext` 和 `HiveContext`，是后续所有操作的基础。

**2. DataFrame 与 Dataset 的创建与转换**
这是本课程的重中之重。你将学习如何从不同数据源创建 DataFrame 和 Dataset。课程详细演示了如何通过样例类（Case Class）定义 Schema，以及如何处理复杂数据类型（如嵌套结构、数组等），这在处理 JSON 等非结构化数据时极为关键。此外，还深入讲解了 RDD、DataFrame 和 Dataset 三者之间的相互转换机制，帮助学员理解其本质差异与适用场景。对于 Schema 的操作 API，课程也进行了详尽的对比讲解，涵盖类型定义、字段修改等常用技巧。

**3. 外部数据源的读写操作**
数据读取与写入是日常开发中最常见的场景。课程重点讲解了 `load` 和 `save` 基本操作的用法，涵盖 CSV、JSON、Parquet、JDBC 等多种主流数据源格式。通过 Scala 和 Python 双版本示例，学员可以学习到如何指定编码、推断 Schema、处理分区等实际开发中的常见问题，确保数据读写的灵活性与高效性。

**4. 实战演练与最佳实践**
虽然当前摘要未完全展示后续章节，但从前序内容来看，课程强调“实战”二字，意味着不仅有理论讲解，更有代码级别的落地指导。老汤老师将通过真实案例，引导学员将 Spark SQL 应用于实际的大数据处理任务中，解决内存溢出、数据倾斜等常见问题。

**适合人群**

- 有一定 Scala 或 Python 基础，希望进入大数据领域的初学者；
- 已具备 Hadoop 或 Hive 使用经验，希望迁移至 Spark 平台的开发者；
- 希望深入理解 DataFrame/Dataset 内部机制，提升代码性能的数据工程师。

**结语**

Spark SQL 不仅是工具，更是一种思维方式。通过本课程的学习，你将从“写 SQL”进阶到“写高效的分布式程序”，掌握从数据加载、清洗到分析的全链路技能。无论你是追求代码优雅性的 Scala 开发者，还是偏好简洁灵活的 Python 用户，这套课程都将为你提供坚实的技术底座。现在就加入我们，开启你的 Spark SQL 进阶之旅！

课程目录

1-1 [课程内容以及环境] 课程内容 (10:01)
1-2 [课程内容以及环境] 课程需要的环境 (04:31)
2-1 [Spark SQL相关的基本概念] Spark SQL基本概念 (17:07)
2-2 [Spark SQL相关的基本概念] 浅尝Spark SQL的API (16:20)
2-3 [Spark SQL相关的基本概念] 浅尝Spark SQL的API(python版) (09:22)
2-4 [Spark SQL相关的基本概念] SparkSession的讲解 (14:03)
2-5 [Spark SQL相关的基本概念] SparkSession的讲解(python版) (05:45)
3-1 [Dataset/DataFrame的创建] DataFrame的创建 (16:01)
3-2 [Dataset/DataFrame的创建] DataFrame的创建(python版) (10:13)
3-3 [Dataset/DataFrame的创建] Dataset的创建 (15:59)
3-4 [Dataset/DataFrame的创建] RDD/Dataset/DataFrame的转换 (08:12)
3-5 [Dataset/DataFrame的创建] schema的定义以及复杂数据类型的用法 (19:02)
3-6 [Dataset/DataFrame的创建] schema api的用处 (15:06)
3-7 [Dataset/DataFrame的创建] schema相关API的讲解(python版) (12:50)
4-1 [Spark SQL读写外部数据源] 基本操作load和save (19:01)
4-2 [Spark SQL读写外部数据源] 基本操作load和save(python版) (07:13)
4-3 [Spark SQL读写外部数据源] parquet和orc文件的读写 (12:02)
4-4 [Spark SQL读写外部数据源] parquet和orc文件的读写(python版) (04:33)
4-5 [Spark SQL读写外部数据源] json文件的读写一 (15:57)
4-6 [Spark SQL读写外部数据源] json文件的读写二 (13:37)
4-7 [Spark SQL读写外部数据源] json文件的读写(python版) (03:40)
4-8 [Spark SQL读写外部数据源] csv文件的读写一 (18:29)
4-9 [Spark SQL读写外部数据源] csv文件的读写二 (16:47)
4-10 [Spark SQL读写外部数据源] csv文件的读写(python版) (05:05)
4-11 [Spark SQL读写外部数据源] 通过jdbc读写mysql数据库 (09:28)
4-12 [Spark SQL读写外部数据源] 通过jdbc写mysql数据库需要注意的点 (11:22)
4-13 [Spark SQL读写外部数据源] 通过jdbc读mysql数据库需要注意的点 (15:27)
4-14 [Spark SQL读写外部数据源] 通过jdbc读写mysql数据库(python版) (09:30)
4-15 [Spark SQL读写外部数据源] text文件和table数据源的读写 (09:52)
4-16 [Spark SQL读写外部数据源] text文件和table数据源的读写(python版) (03:54)
4-17 [Spark SQL读写外部数据源] 数据源实战之数据分区 (15:38)
4-18 [Spark SQL读写外部数据源] 数据源实战之数据分区(python版) (06:28)
5-1 [SQL操作spark SQL] catalog元数据管理讲解 (19:47)
5-2 [SQL操作spark SQL] catalog元数据管理讲解(python版) (04:54)
5-3 [SQL操作spark SQL] DDL-表的类型种类及其创建方式 (19:24)
5-4 [SQL操作spark SQL] DDL-表的类型种类及其创建方式(python版) (04:53)
5-5 [SQL操作spark SQL] DQL-sql查询及其sql函数讲解 (10:35)
5-6 [SQL操作spark SQL] DQL-sql查询及其sql函数讲解(python版) (04:59)
5-7 [SQL操作spark SQL] SQL内置函数(很全) (13:09)
6-1 [Dataset/DataFrame的API的使用] Column的表达 (14:44)
6-2 [Dataset/DataFrame的API的使用] Column的表达(python版) (04:49)
6-3 [Dataset/DataFrame的API的使用] DataFrame中Untyped API讲解 (19:27)
6-4 [Dataset/DataFrame的API的使用] DataFrame中Untyped API讲解(python (08:33)
6-5 [Dataset/DataFrame的API的使用] DataFrame Untyped API与SQL对比 (07:49)
6-6 [Dataset/DataFrame的API的使用] Dataset typed API (22:10)
6-7 [Dataset/DataFrame的API的使用] group分组聚合相关API (15:43)
6-8 [Dataset/DataFrame的API的使用] group分组聚合相关API(python版) (02:39)
6-9 [Dataset/DataFrame的API的使用] join关联相关API (16:51)
6-10 [Dataset/DataFrame的API的使用] join关联相关API(python版) (02:44)
6-11 [Dataset/DataFrame的API的使用] sort排序相关API (07:53)
6-12 [Dataset/DataFrame的API的使用] sort排序相关API(python版) (02:27)
6-13 [Dataset/DataFrame的API的使用] UDAF讲解 (19:53)
6-14 [Dataset/DataFrame的API的使用] Action API和其他API (05:20)
7-1 [Spark SQL实战] RDDs\DataFrames\Datasets各自使用场景 (12:44)
7-2 [Spark SQL实战] json格式数据处理 (20:20)
7-3 [Spark SQL实战] 物联网设备信息的ETL (13:39)