这是一门帮初学者建立全局视野的企业级大数据课
很多想转行大数据的同学，往往一上来就陷入“装环境”的泥潭，或者只会写 SQL 却不懂数据去哪了、为什么分层。这门课的核心价值，不在于让你背下多少个组件的参数，而是用一种类似“架构师”的视角，把大数据平台从概念到落地的逻辑讲清楚。它解决的是“知其然不知其所以然”的问题：你知道 Hive 是数据仓库工具，但你清楚它在离线和实时架构中分别扮演什么角色吗？知道 Lambda 和 Kappa 的区别，但知道企业为什么在某些场景下仍选择混合架构吗？
课程前两部分非常务实，没有一上来就敲代码。它先梳理了什么是大数据平台，为什么要建平台（解决数据孤岛、提升计算效率等），并详细拆解了当前业界主流的技术栈。这部分尤其适合基础薄弱的同学，帮你建立一个完整的技术地图，而不是零散的知识点。接下来的作业要求你画出平台架构并与大厂案例对比，这是非常好的思考训练。
核心聚焦 Hive 与数仓架构，实操门槛适中
第三章是课程的主体，重点攻克 Hive 和数仓分层设计。这里的内容难度适中，适合有基本 Linux 操作和 SQL 基础的学员。课程从 Hive 与数据库的本质区别讲起，深入到分区、分桶、内部表与外部表的细节，再到 UDF 自定义函数的开发，最后以 ORCFile 存储格式收尾。这一条线非常完整，覆盖了 Hive 日常开发最常用的场景。
值得注意的是，课程并没有止步于离线数仓，还专门用了一节时间讲解离线与实时数仓的差异，以及 Lambda 和 Kappa 两种经典架构的图解。这对理解后续可能涉及到的 Flink 或 Spark Streaming 学习至关重要。如果你之前只接触过离线报表开发，这部分内容会补齐你的实时数据链路认知。
资料使用建议：先框架后细节，动手重于观看
建议的学习顺序是：先花半小时看完前两章的导学和架构部分，脑海中先形成“大数据平台长什么样”的整体印象。然后进入 Hive 章节，不要只看视频，务必配合【实操手册】一节，亲手在本地或实验环境中完成 Hive 的安装部署。Hive 的安装配置往往是新手遇到的第一个大坑，跟着手册走一遍能避开很多隐形报错。
对于 Hive 基础语法部分，建议边看边记笔记，重点理解“分区”和“分桶”的性能优化意义，这是面试和工作中最常考察的点。当学到 UDF 和 Lambda 架构时，可以尝试回顾前面提到的各大企业平台对比，思考为什么阿里巴巴、京东等公司的技术选型会有差异。学完这套内容，你应该能够独立搭建一个基础的 Hive 离线数仓环境，并清晰阐述其在企业数据体系中的位置和作用。
课程目录
第1章 课程导学与学习指南 试看 3 节 | 12分钟 1-1 导学【课程背景、项目速览】 (11:53).mp4
1-2 怎么更好的使用慕课平台.mp4
1-3 你真的会问问题吗？.mp4
第2章 认识企业中的大数据平台 6 节 | 32分钟 2-1 课程简介与学习建议 (07:32).mp4
2-2 什么是大数据平台 (05:34).mp4
2-3 【讨论题】怎样入门大数据？.mp4
2-4 为什么要建设大数据平台【三个解决、两个提升】 (05:57).mp4
2-5 大数据平台常用技术栈有哪些【知识体系梳理、我们要用哪些】 (04:28).mp4
2-6 各大企业大数据平台对比【作业：画出我们的平台架构和这些对比一下】 (07:54).mp4
第3章 大数据平台 —— 数据仓库之离线&实时 试看
16 节 | 116分钟 3-1 数据仓库VS数据库 (10:11).mp4
3-2 数据仓库分层建设 (08:52).mp4
3-3 Hive是什么【上期思考揭秘：分层的弊端，如何解决】 (06:40).mp4
3-4 Hive安装部署【课下任务：预习Hive和Mysql的区别，Hive都有哪些表？】 (09:52).mp4
3-5 【实操手册】Hive安装部署.mp4
3-6 Hive基本使用（上）Hive数据类型/分区/基础语法 (10:37).mp4
3-7 Hive基本使用（中）内部表/外部表/分区表/分桶表 (11:44).mp4
3-8 Hive基本使用（下）内置函数/自定义函数/实现UDF (10:55).mp4
3-9 【作业解答】Hive自定义函数注册.mp4
3-
10 Hive存储结构 ORCFile (10:38).mp4
3-11 【梳理】Hive知识梳理总结.mp4
3-
12 Hive常见面试题 (13:45).mp4
3-
13 离线数仓VS实时数仓 (05:23).mp4
3-
14 图解Lambda架构数据流程 (06:46).mp4
3-
15 Kappa 架构 VS Lambda (04:36).mp4
3-
16 主流大公司的实时数仓架构 (05:43).mp4
第4章 大数据平台——数据仓库之权限管理
18 节 | 155分钟 4-1 权限管理（上）Hadoop/Hive自带权限控制 (05:55).mp4
4-2 权限管理（下）实操Hive的权限操作 (12:46).mp4
4-3 Kerberos认证简介【对称/非对称加密、数字证书、图解Kerberos流程】 (10:44).mp4
4-4 Apache Ranger简介【图解Ranger架构、Ranger管理HDFS、Hive、Yarn举例】 (08:54).mp4
4-5 【讨论题】数据安全问题.mp4
4-6 Apache Rangr安装 (06:13).mp4
4-7 Ranger HDFS Plugin安装 (09:46).mp4
4-8 Ranger Hive Plugin安装 (05:31).mp4
4-9 【实操手册】Apache Ranger安装部署.mp4
4-
10 Ranger Api Java开发之User管理 (22:54).mp4
4-
11 Ranger Api Java开发之Policy管理 (15:10).mp4
4-
12 数据采集介绍【图解数据采集流程】 (04:14).mp4
4-13 常用数据采集工具【图解Sqoop、Flume、DataX】 (08:36).mp4
4-
14 Datax数据采集实战 (18:11).mp4
4-15 【作业解答】Datax完成数据的导入导出.mp4
4-
16 数据治理简介【要解决的问题、元数据、数据血缘】 (06:58).mp4
4-
17 Apache Atlas数据治理【图解Atlas架构】 (07:46).mp4
4-
18 数据仓库常见面试题 (10:43).mp4
第5章 大数据平台 —— 调度系统
10 节 | 87分钟 5-1 我们需要一个调度系统【任务处理现状、调度系统通用功能】 (07:49).mp4
5-2 Azkaban介绍【常用开源调度框架对比】 (06:03).mp4
5-3 Azkaban架构与调度流程【图解核心交互流程】 (06:56).mp4
5-4 Azkaban安装部署 (11:34).mp4
5-5 提交Azkaban任务 (10:43).mp4
5-6 【实操手册】Azkaban安装部署及基础使用.mp4
5-7 Azkaban用户代理 (10:50).mp4
5-8 Java程序操作Azkaban Api (上) (14:17).mp4
5-9 Java程序操作Azkaban Api（下） (10:30).mp4
5-
10 调度系统相关面试指导 (07:21).mp4
第6章 大数据平台 —— 计算引擎
15 节 | 117分钟 6-1 Spark简介【Hadoop VS Spark、图解Spark生态】 (08:58).mp4
6-2 Spark架构及执行流程【根据图解了解Spark名词】 (11:24).mp4
6-3 RDD简介及特性【图解WordCount示例中RDD如何转换】 (08:08).mp4
6-4 RDD依赖关系【图解Stage划分】 (06:25).mp4
6-5 Spark三种部署模式实战 (12:54).mp4
6-6 【实操手册】Spark三种部署模式及基本操作.mp4
6-7 Spark程序开发 (13:40).mp4
6-8 SparkSQL简介【RDD VS DataFrame】 (06:45).mp4
6-9 SparkSQL程序开发 (10:59).mp4
6-
10 Spark 自定义UDF开发 (05:08).mp4
6-11 Spark程序开发原则与基础优化【常见调优策略、持久化级别】 (11:30).mp4
6-
12 Spark 数据倾斜调优 (07:32).mp4
6-13 【实操手册】Zeppelin安装与使用.mp4
6-
14 Spark面试题答疑 (13:09).mp4
6-15 【面试题】你遇到过哪些记忆深刻的大数据面试题.mp4
第7章 大数据平台建设 —— SQL查询引擎
11 节 | 90分钟 7-1 大数据查询引擎Presto简介【作业：了解其他的SQL on Hadoop方案】 (08:07).mp4
7-2 【讨论题】大数据就是做一个SQL Boy吗.mp4
7-3 Presto架构与执行流程 (09:13).mp4
7-4 Presto安装部署 (08:10).mp4
7-5 通过Jdbc操作Presto (09:40).mp4
7-6 Presto UDF开发（上） (11:16).mp4
7-7 Presto UDF开发（下） (08:58).mp4
7-8 Presto EventListener开发 (15:22).mp4
7-9 【实操手册】Presto on Yarn.mp4
7-
10 Presto配置优化 (12:06).mp4
7-
11 Presto章节小结 (06:58).mp4
第8章 大数据平台建设 —— 监控预警
14 节 | 92分钟 8-1 监控系统介绍 (03:45).mp4
8-2 【讨论题】经常需要值班的大数据开发人员如何提高幸福感？.mp4
8-3 常用开源监控项目对比【Zabbix VS OpenFalcon VS Prometheus】 (09:12).mp4
8-4 OpenFalcon各个组件介绍 (05:48).mp4
8-5 OpenFalcon单机版部署 (14:17).mp4
8-6 【实战手册】OpenFalcon 安装.mp4
8-7 OpenFalcon基本使用 (15:33).mp4
8-8 OpenFalcon邮件网关安装 (05:34).mp4
8-9 实现OpenFalcon对Hadoop服务状态报警 (07:47).mp4
8-
10 自定义Plugin开发 (12:28).mp4
8-
11 Push数据脚本开发 (04:19).mp4
8-12 【实操手册】Grafana安装并使用OpenFalcon数据源.mp4
8-
13 Grafana监控大盘配置 (07:30).mp4
8-
14 监控系统 章节小结 (05:08).mp4
第9章 大数据平台建设 —— 管理整合、任务定制
21 节 | 173分钟 9-1 Naga数据平台介绍 (09:02).mp4
9-2 Naga大数据平台功能介绍 (07:13).mp4
9-3 Naga 开发工具及基本类介绍 (13:08).mp4
9-4 集群概览模块实体类开发 (15:17).mp4
9-5 集群概览模块核心功能开发 (12:09).mp4
9-6 集群概览接口开发及测试 (05:54).mp4
9-7 业务线Entity开发 (10:25).mp4
9-8 Hadoop及Hive Client开发 (11:06).mp4
9-9 业务线Controller开发 (09:05).mp4
9-
10 任务管理模块介绍 (10:25).mp4
9-
11 插件抽象及解析代码开发 (12:27).mp4
9-
12 插件接口及测试 (07:11).mp4
9-
13 任务流程实体类开发 (04:09).mp4
9-
14 创建流程及提交流程开发 (09:43).mp4
9-
15 【实操手册】生成azkaban job文件.mp4
9-
16 插件参数及变量介绍 (08:57).mp4
9-
17 引用参数解析方法开发 (08:00).mp4
9-
18 插件SDK模块开发 (08:58).mp4
9-
19 Java插件开发示例 (05:54).mp4
9-
20 Spark插件开发示例 (03:24).mp4
9-
21 【实操手册】Naga Plugin Python SDK开发.mp4
第10章 系统集成及可视化
23 节 | 108分钟 10-1 数据查询架构介绍 (04:22).mp4
10-2 QueryObject开发 (04:48).mp4
10-3 【实操手册】Java DataFrame设计.mp4
10-4 DataFrame Wrapper开发 (07:03).mp4
10-5 数据查询缓存 (04:59).mp4
10-6 数据查询接口开发 (07:36).mp4
10-7 数据可视化模块介绍 (04:40).mp4
10-8 多种图表setting抽象 (10:06).mp4
10-9 图表数据查询类 (08:31).mp4
10-
10 可视化接口开发及测试 (03:46).mp4
10-
11 Naga平台用户模型介绍 (04:35).mp4
10-
12 用户登录认证功能 (09:02).mp4
10-
13 用户权限认证功能 (03:56).mp4
10-
14 审计日志功能 (05:38).mp4
10-
15 【梳理介绍】 Naga大数据平台前端框架介绍.mp4
10-
16 前端开发框架运行 (06:35).mp4
10-
17 前端开发及前后端联调实现 (08:55).mp4
10-18 【实操手册】业务线管理前端开发.mp4
10-19 【实操手册】数据查询功能界面开发.mp4
10-20 【实操手册】可视化图表界面开发.mp4
10-21 【梳理总结】前端开发过程中常见问题.mp4
10-
22 【彩蛋加餐】Naga 数据平台操作手册.mp4
10-
23 课程总结 (13:16).mp4
