老汤大数据课程之 SQL On Hadoop

解决什么问题

大数据场景下，数据通常存储在 HDFS 上，但如何用 SQL 这种人人会写的语言去查询和处理这些数据，而不用学一套新的编程模型，这是很多数据工程师的痛点。这门课直面这个问题——通过 Hive 和 Spark SQL 两个主流工具，教你怎样在 Hadoop 生态里用 SQL 读写和加工数据。

课程不仅讲工具用法，还讲清楚了 Hive 和 Spark SQL 在大数据场景中各自的角色定位。如果你要落地一个数据平台，需要明白什么时候用 Hive 做离线批处理，什么时候用 Spark SQL 做实时计算或复杂 ETL，这门课会帮你理清思路。

适合什么基础

前置要求不高——熟悉基础 SQL 语法即可，不需要提前学 Hadoop 或 Spark 底层原理。课程会从环境安装开始，逐步推进到实际项目应用，所以初级数据分析师或新入门的数据工程师都能跟上。如果你有 Java 开发经验，理解 JDBC、Thrift 这类中间件概念会更快，但课程讲了对比说明，也不是必须。

建议先看哪几块

不要跳过前面的基础部分。先看 Hive 的三种安装模式和 CLI/Beeline 的用法（约 1～2 小时），这是后续实操的基础。接着重点学 DDL 和 DML 的那些节次，特别是分区表和数据类型那两块——数据表的设计会直接影响查询性能，这是实战中最容易出问题的地方。然后看 Spark SQL 部分，对比学习它和 Hive 的配置和访问方式。最后看两个具体的 ETL 和推荐功能的案例，这能帮你从实际项目的角度理解前面学的东西怎么用。

学完能独立做什么

学完这门课，你可以独立完成以下任务：在服务器上安装和配置 Hive，设计合理的表结构（包括分区和存储格式的选择），用 SQL 写数据入库和查询脚本，用 Beeline 或 JDBC 接口对接 Hive，用 Spark SQL 读取 Hive 表做进一步加工处理。如果你要写一个简单的数据管道——比如从原始数据导入 Hive，然后用 Spark SQL 跑一个 ETL job 做数据清洗——这些都在你的能力范围内了。

资料怎么配合练习

视频讲解配合实操环境。先在自己的开发机或云服务器上跟着安装步骤搭一遍 Hive，再用课程提供的测试数据做简单查询练习，验证 CLI 和 Beeline 都能正常工作。进阶的话，在本地或测试环境里用 JDBC 或 Spark SQL 代码访问 Hive，对着视频里的代码示例写一遍。最后拿 ETL 和推荐功能的案例代码，改改表名和字段，试试能不能跑起来。这个过程中，遇到的安装问题或 SQL 报错都是正常的，靠着课程的原理讲解能自己排查。