先弄清楚：这门课解决什么工作场景

在真实的企业数仓建设里，数据量一旦大起来，单机关系型数据库就扛不住了，大家会把数据存到 Hadoop 的 HDFS 上。但底层是分布式文件系统，业务和数仓人员不可能天天写 MapReduce 去拉数据，这时候就需要一套能用标准 SQL 语法去操作 Hadoop 底层数据的中间件。这门课讲的就是这条链路上的核心方案，重点落在 Hive 以及周边的访问接口上。它解决的是“数据已经在 Hadoop 上了，怎么用熟悉的 SQL 去查询、怎么让程序代码通过标准方式连进去跑批”这个实际工程问题，不是带你从零学 SQL 语法本身。

适合什么基础，学完能独立做什么

这套资料不适合完全零基础的人。你得对关系型数据库有基本概念，写过常规的查询语句，并且对 Linux 命令行操作不陌生。如果你之前碰过 Java 或者了解基本的网络通信概念，看 Thrift 那几节会更顺，但如果不熟也没关系，那部分了解原理即可。学完之后，你能独立在一台 Linux 机器上把 Hive 按不同模式装起来、配好元数据存储；能用命令行和 beeline 客户端去跑查询；更重要的是，你能在代码里用 JDBC 的方式连上 Hive 服务，把数据查询逻辑串进自己的业务程序里。这就意味着，面对公司内部基于 Hadoop 搭建的数仓，你不再只是个只会用可视化工具点鼠标的人，而是能从底层配置到代码对接全链路跑通的人。

建议先看哪几块，资料怎么配合练习

拿到资料不要顺着视频一集集死磕，建议先跳过开头的体系介绍，直接从课程数据准备和 Hive 的几种安装模式看起。这部分是纯实操，必须跟着视频在自己的虚拟机或服务器上敲一遍。把本地模式和嵌入式安装跑通后，重点去抠 CLI 用法以及 JDBC 访问那几块。资料包里的配套脚本和数据集是用来验证环境是否跑通的，不要只看不动手。看 Thrift 的时候，重点抓它和 Socket 编程模型对比的那段，弄明白它在这个架构里起到的跨语言通信作用就行，不用去背它的底层语法。最后把 Spark SQL 兼容配置那块看完，自己试着把查询任务从老的工具链平滑切过去，这样这套资料就算吃透了。


学习基于 Hadoop 之上的 SQL 解决方案技术

课程目录

*   01 老汤大数据课程体系介绍.mp4 06:21

*   02 课程内容.mp4 10:13

*   03 Thrift的学习方法

*   04 通过和socket编程模型进行对比来引出Thrift的作用.mp4 16:37

*   05 Thrift的使用方法(了解即可).mp4 17:15

*   06 课程数据准备.mp4 07:40

*   07 Hive安装的三种模式.mp4 11:55

*   08 Hive的嵌入式安装.mp4 15:25

*   09 Hive的本地模式安装.mp4 18:51

*   10 Hive配置纠错

*   11 Hive CLI的用法.mp4 14:45

*   12 Hive beeline的用法.mp4 12:32

*   13 代码里JDBC的方式访问Hive.mp4 11:24

*   14 Spark SQL兼容Hive配置.mp4 13:07

*   15 通过beeline访问Spark SQL.mp4 09:51

*   16 通过JDBC访问Spark SQL.mp4 06:21

*   17 Spark SQL代码中写SQL读写Hive.mp4 12:14

*   18 通过table和saveAsTable两个接口读写Hive.mp4 14:28

*   19 Spark SQL本地调试读写Hive.mp4 08:51

*   20 案例业务讲解.mp4 14:40

*   21 ETL job详细讲解.mp4 17:10

*   22 机器学习推荐功能job详细讲解.mp4 13:33

*   23 Spark SQL和Hive的各自职责.mp4 12:13

*   24 Hive-Impala课程内容.mp4 04:53

*   25 DDL-DB.mp4 19:34

*   26 DDL-table-ROW FORMAT.mp4 34:51

*   27 DDL-table-STORAGE FORMAT.mp4 32:01

*   28 DDL-table-表的种类.mp4 23:54

*   29 DDL-table-数据类型.mp4 20:10

*   30 DDL-table-分区表.mp4 43:01

*   31 DDL-table-表与分区的修改.mp4 24:45

*   32 DML-LOAD DATA INTO TABLE.mp4 12:03

*   33 DML-INSERT DATA INTO TABLE.mp4 20:05

*   34 DML-动态分区.mp4 06:12

*   35 DML-Hive表数据导入到文件系统.mp4 09:29

*   36 Bucket Table.mp4 14:20

*   37 Skewd Table.mp4 13:35

*   38 CREATE TABLE语法总结.mp4 08:09

*   39 Hive On Hbase.mp4 27:56

*   40 练习--MapReduce和Hive处理分析数据.mp4 18:58

*   41 练习--Spark和Hive处理分析数据.mp4 10:20

*   42 练习--Hive ETL以及分析数据.mp4 09:29

*   43 Spark和Hive版本兼容问题.mp4 08:48

*   44 Hive On MR执行流程.mp4 10:49

*   45 Hive的remote metastore模式安装.mp4 18:36

*   46 HiveServer2的使用.mp4 19:29

*   47 python3开发环境的搭建.mp4 12:55

*   48 python3网络爬虫的工具.mp4 23:05

*   49 项目结构.mp4 12:18

*   50 编写爬虫程序一.mp4 38:11

*   51 编写爬虫程序二.mp4 23:41

*   52 ETL(一).mp4 24:32

*   53 ETL(二).mp4 30:18

*   54 DQL-内置单行函数.mp4 18:40

*   55 DQL-自定义UDF.mp4 06:04

*   56 CASE WHEN和CTE查询.mp4 08:20

*   57 DQL-UDAF和UDT.mp4 10:25

*   58 Hive自定义UDAF

*   59 DQL-Join相关.mp4 10:57

*   60 DQL-高级聚合函数.mp4 12:19

*   61 DQL-分析函数语法.mp4 26:29

*   62 DQL-分析函数之first_value与last_valu.mp4 06:58

*   63 DQL-分析函数之lead与lag.mp4 08:39

*   64 面试题_Hive统计连续三天都登录的用户

*   65 DQL-分析函数之排名和切片.mp4 06:49

*   66 DQL-分析函数之序列分析函数.mp4 07:49

*   67 数据可视化-python matplotlib.mp4 10:03

*   68 数据可视化-SpringBoot和JDBC.mp4 29:14

*   69 数据可视化-SpringBoot和JdbcTemplate.mp4 15:19

*   70 项目部署.mp4 46:48

*   71 Hive支持delete和update操作的说明

*   72 面试题_hive命令如何传递参数

*   73 面试题_Hive数据去重

*   74 Spark SQL支持的窗口函数

*   75 Hive总结和深入

*   76 Apache版本和CDH版本对比.mp4 10:56

*   77 CDH版本上写代码需要注意的点.mp4 11:25

*   78 Oozie定义工作流一.mp4 30:44

*   79 Oozie定义工作流二.mp4 10:03

*   80 Hue的功能.mp4 10:17

*   81 Impala和Hive使用同一个Metastore.mp4 11:10

*   82 Impala与Hive复杂类型的查询区别.mp4 08:46

*   83 impala-shell的使用.mp4 05:07

*   84 Impala与Hive之间的些许差别.mp4 21:56

*   85 JDBC访问Impala.mp4 05:59

*   86 Impala原理.mp4 09:03

*   87 SQL On Hadoop试卷

*   88 模块重点内容文字总结