这门课解决什么问题，适合什么基础

这套 Spark SQL 资料针对的是数据清洗、离线数仓构建和海量数据查询场景。日常工作中，如果你常遇到 Hive 跑批太慢、任务排队严重，或者需要把结构化查询语言和 Spark 的分布式计算能力结合起来做数据分析，这门课就是来解决这些实际痛点的。它不教基础语法，默认你已经有 Scala 或 Python 编程基础，了解关系型数据库，并且对 Spark Core 的 RDD 运行机制有基本概念。如果你完全没碰过分布式计算，建议先补齐基础再看，否则在架构处理流和底层 API 实现部分会卡壳。对于想从传统数仓开发转向大数据计算的转行者，这套内容能帮你把已有的查询能力平移到分布式引擎上。

建议先看哪几块，资料怎么配合练习

拿到资料后，不要顺着目录从头硬啃，建议按工作场景分块推进。第一块先看前生今世以及架构处理流部分，弄清 Spark SQL 的四大目标和底层处理逻辑，这是后续写优化代码的地基。第二块直接切入数据格式种类和 DSL、SQL 两套 API 的实操。看视频时务必同步开一台配置好环境的虚拟机，讲到哪种数据格式，就自己生成一份测试数据读写一遍。资料里的答疑部分不要最后看，遇到代码报错先去翻答疑，往往能直接定位环境配置或版本冲突问题。这套内容偏重底层原理和 API 演进，光看不练会忘得很快，必须把课程里的查询语句和 DSL 操作全部在本地敲一遍，对比执行计划，才能真正理解。

学完能独立做什么

完整跟下来并做完练习后，你能独立完成几项实际工作。首先是把外部结构化数据接入 Spark 引擎，根据数据特点选择合适的存储格式，写出兼顾性能的读取和查询代码。其次，面对复杂的离线统计需求，能熟练在标准 SQL 和 DSL 之间切换，不再依赖别人写好的脚本。最重要的是，你能看懂 Spark SQL 的执行计划，遇到跑得慢的任务，知道从哪里入手排查，而不是盲目改代码。这套资料帮你把分散的 API 知识串成完整的处理链路，学完后应对日常的离线数据开发和中等规模数仓的查询优化，基本不用再反复翻找零散的教程。


学习 Spark SQL 技能

课程目录

*   01 课程答疑 /

  *   01 老汤大数据课程体系介绍.mp4 06:21

*   02 Spark SQL的前生今世以及未来/

  *   01 课程内容.mp4 04:36

  *   02 DSL.mp4 10:24

  *   03 SQL.mp4 06:50

  *   04 数据格式的种类及其特点.mp4 07:48

  *   05 Spark SQL的初衷.mp4 07:30

  *   06 SQL On Hadoop - Hive.mp4 07:56

  *   07 SQL On Hadoop - Imapla.mp4 10:10

  *   08 Shark.mp4 07:56

  *   09 大事记.mp4 04:53

  *   10 Spark SQL四大目标.mp4 06:56

  *   11 Spark SQL架构及其处理流.mp4 15:05

  *   12 API实现的发展.mp4 13:00

  *   13 DataFrame.mp4 17:54

  *   14 Dataset.mp4 07:57

  *   15 API演化的合理性(必须学习).mp4 09:02

  *   16 Dataset API分类.mp4 05:00

  *   17 Spark SQL未来会成为Spark的新核心.mp4 10:56

*   03 玩转Spark SQL/

  *   01 spark SQL基本概念.mp4 17:07

  *   02 浅尝spark SQL的API.mp4 16:20

  *   03 SparkSession的讲解.mp4 14:03

  *   04 DataFrame的创建(必须学习).mp4 16:01

  *   05 Dataset的创建(必须学习).mp4 15:59

  *   06 RDD/Dataset/DataFrame的转换(必须学习).mp4 08:12

  *   07 toDF和toDS说明

  *   08 schema的定义以及复杂数据类型的用法.mp4 19:02

  *   09 RDD/Dataset/DataFrame的转换作业

  *   10 实战：schema api的用处.mp4 15:06

  *   11 数据源-基本操作load和save.mp4 19:01

  *   12 数据源-parquet和orc文件的读写.mp4 12:02

  *   13 数据源-json文件的读写一.mp4 15:57

  *   14 数据源-json文件的读写二.mp4 13:37

  *   15 数据源-csv文件的读写一.mp4 18:29

  *   16 数据源-csv文件的读写二.mp4 16:47

  *   17 Mysql的JDBC驱动包放置在Spark的安装目录下.mp4 02:18

  *   18 Spark SQL读写Mysql的权限问题.mp4 02:18

  *   19 数据源-通过jdbc读写mysql数据库(必须学习).mp4 09:28

  *   20 通过jdbc写mysql数据库需要注意的点(必须学习).mp4 11:22

  *   21 通过jdbc读mysql数据库需要注意的点(必须学习).mp4 15:27

  *   22 数据源-text文件和table数据源的读写.mp4 09:52

  *   23 数据源实战之数据分区(必须学习).mp4 15:38

  *   24 catalog元数据管理讲解.mp4 19:47

  *   25 DDL-表的类型种类及其创建方式.mp4 19:24

  *   26 DQL-sql查询及其sql函数讲解.mp4 10:35

  *   27 SQL内置函数(很全).mp4 13:09

  *   28 Column的表达(必须学习).mp4 14:44

  *   29 DataFrame中Untyped API讲解.mp4 19:27

  *   30 DataFrame Untyped API与SQL对比.mp4 07:49

  *   31 Dataset typed API.mp4 22:10

  *   32 group分组聚合(必须学习).mp4 15:43

  *   33 join关联相关(必须学习).mp4 16:51

  *   34 sort排序相关API.mp4 07:53

  *   35 实战：自定义UDAF.mp4 19:53

  *   36 Action API和其他API.mp4 05:20

  *   37 使用Spark SQL分析日志作业

  *   38 RDDs\DataFrames\Datasets各自使用场景.mp4 12:44

  *   39 实战一：json格式数据处理.mp4 20:20

  *   40 实战二：物联网设备信息的ETL.mp4 13:39

  *   41 Spark SQL测试试卷

*   04 Spark SQL分析实战一(必须学习)/

  *   01 文件字段说明.mp4 14:40

  *   02 SparkSession的read接口生成DataFrame.mp4 22:43

  *   03 解析Flight.mp4 25:21

  *   04 解析Airport.mp4 16:00

  *   05 简单业务查询.mp4 07:42

  *   06 Spark SQL shuffle分区数设置.mp4 11:02

  *   07 cube分析数据.mp4 07:11

  *   08 航班分析练习

*   05 Spark SQL分析实战二(必须学习)/

  *   01 需求说明.mp4 12:37

  *   02 用代码怎么样表示地图.mp4 22:05

  *   03 geoJson的解析.mp4 39:26

  *   04 载客记录安全解析.mp4 21:18

  *   05 数据清洗-过滤掉载客时间不符合规则的数据.mp4 23:04

  *   06 数据清洗-过滤掉不在纽约市的载客记录.mp4 15:49

  *   07 Spark SQL分析出租车数据.mp4 25:03

*   06 Spark 总结/

  *   01 Spark 模块重点内容文字总结