人工精选Hive在大数据分析和大数据仓库中应用实战
解决什么工作场景:把数据库经验平移到大数据平台 很多做后端开发、数据分析或运维的人,在面对公司海量日志和业务明细时,常卡在一个尴尬位置:单机关系型数据库扛不住几亿条数据的聚合查询,直接写分布式计算代码门槛又太高。这门课针对的就是这个断层。它的核心是教你用类 SQL 语法去操作底层分布式存储和计算,把
会员 · 按档位
游客按标价购买,不享受上表折扣。
支付成功后自动发放网盘链接,链接失效可找客服免费补
解决什么工作场景:把数据库经验平移到大数据平台
很多做后端开发、数据分析或运维的人,在面对公司海量日志和业务明细时,常卡在一个尴尬位置:单机关系型数据库扛不住几亿条数据的聚合查询,直接写分布式计算代码门槛又太高。这门课针对的就是这个断层。它的核心是教你用类 SQL 语法去操作底层分布式存储和计算,把复杂的数据清洗、转化和聚合过程,变成写查询脚本。学这门课前先问自己一个问题:日常工作中是否需要从海量原始数据里出报表、做跑批,或者搭数仓分层?如果答案是肯定的,那这趟学习就值回票价。如果只是想随便学个工具扩充简历,遇到底层报错很容易半途而废。
适合什么基础与建议先看哪几块
这门课默认你具备基础的 SQL 能力,比如能熟练写多表关联和聚合函数,同时懂一点 Linux 命令行操作。如果这两项薄弱,建议先补关系型数据库基础再来碰这部分资料。看这套视频时,不要从头按部就班死磕。开篇的背景介绍可以快进,直接跳到平台部署环节,跟着把底层集群环境和上层查询引擎装起来。很多人学这类技术容易在环境配置上耗尽耐心,所以前期重点是把虚拟机、操作系统和底层框架跑通,确保能成功连通。等环境跑通后,把绝大部分精力放在内部原理解析和实际查询语法上,搞清楚数据在底层是怎么被切分和并行计算的。
学完能独立做什么与资料怎么配合练习
跟着完整走下来,你应当能独立完成几件具体的事:在自己的环境里搭起一套可用的查询平台;把本地的结构化大文件导入进去;针对具体的业务需求,写出跑批脚本并做性能调优;按数仓分层思路,把原始明细数据整理成可分析的结果表。练习时,千万不要只用眼睛看视频。建议自己找一份几十万行的测试数据集,导入平台后按课程里的案例手敲一遍。遇到脚本跑得慢,主动去查执行计划,看是数据倾斜还是扫描量过大,再对照资料里的优化思路去改写。这套资料的价值不在于背语法,而在于帮你建立处理大数据的工程直觉。遇到底层报错,先看日志再排查,这个过程比单纯听课重要得多。
课程目录
课程目录55 集
- 1-1 [开篇词] 很重要的开篇词 (04:52).mp4
- 2-1 [这门课主要学什么?] 这门课程主要学什么? (10:25).mp4
- 2-2 [这门课主要学什么?] 为什么学好Hive如此重要? (05:15).mp4
- 2-3 [这门课主要学什么?] 先对Hive了解这么多就够了 (34:51).mp4
- 3-1 [Hadoop集群的规划部署] Hive平台安装部署概述 (02:07).mp4
- 3-2 [Hadoop集群的规划部署] Hive平台部署之Hadoop集群规划设计 (25:41).mp4
- 3-3 [Hadoop集群的规划部署] Hive平台部署之虚拟化软件的下载和安装 (15:13).mp4
- 3-4 [Hadoop集群的规划部署] Hive平台部署之虚拟机的创建 (09:19).mp4
- 3-5 [Hadoop集群的规划部署] Hive平台部署之Centos操作系统的下载及安装 (15:56).mp4
- 3-6 [Hadoop集群的规划部署] Hive平台部署之快速克隆三台虚拟机 (05:04).mp4
- 3-7 [Hadoop集群的规划部署] Hive平台部署之静态IP配置及外网连接 (15:29).mp4
- 3-8 [Hadoop集群的规划部署] Hive平台部署之Xshell远程连接虚拟机 (04:26).mp4
- 3-9 [Hadoop集群的规划部署] Hive平台部署之主机名修改 (04:10).mp4
- 3-10 [Hadoop集群的规划部署] Hive平台部署之防火墙和SELinux的设置 (07:50).mp4
- 3-11 [Hadoop集群的规划部署] Hive平台部署之主机名和IP之间对应关系的配置 (04:04).mp4
- 3-12 [Hadoop集群的规划部署] Hive平台部署之sudo权限的配置 (06:07).mp4
- 3-13 [Hadoop集群的规划部署] Hive平台部署之SSH免密码登录的配置 (24:34).mp4
- 3-14 [Hadoop集群的规划部署] Hive平台部署之脚本工具的配置及使用 (08:53).mp4
- 3-15 [Hadoop集群的规划部署] Hive平台部署之JDK的安装部署 (14:40).mp4
- 3-16 [Hadoop集群的规划部署] Hive平台部署之Zookeeper集群部署 (17:53).mp4
- 3-17 [Hadoop集群的规划部署] Hive平台部署之Hadoop集群部署 (46:32).mp4
- 3-18 [Hadoop集群的规划部署] Hive平台部署之Hadoop集群正常启停 (07:44).mp4
- 4-1 [Hive客户端的规划部署] Hive平台部署之Hive客户端的准备 (16:48).mp4
- 4-2 [Hive客户端的规划部署] Hive平台部署之客户端和集群的连接 (22:03).mp4
- 4-3 [Hive客户端的规划部署] Hive平台部署之Mysql的安装部署 (15:02).mp4
- 4-4 [Hive客户端的规划部署] Hive平台部署之Hive驱动的安装部署 (26:58).mp4
- 5-1 [Zeppelin的规划部署] Hive平台部署之Zeppelin的安装部署 (16:22).mp4
- 5-2 [Zeppelin的规划部署] Zeppelin配置MySQL解析器 (21:43).mp4
- 5-3 [Zeppelin的规划部署] Zeppelin配置Hive解析器 (46:20).mp4
- 6-1 [把Hive最基本的操作玩的溜溜的] 把最基本的Hive操作玩的溜溜的 (10:45).mp4
- 6-2 [把Hive最基本的操作玩的溜溜的] 搞清楚Hive分析的数据存在哪 (14:16).mp4
- 6-3 [把Hive最基本的操作玩的溜溜的] 搞清楚Hive的元数据存在哪 (04:01).mp4
- 6-4 [把Hive最基本的操作玩的溜溜的] 会用Hive常用的几个小功能 (15:51).mp4
- 6-5 [把Hive最基本的操作玩的溜溜的] Hive数据库的相关操作 (08:40).mp4
- 6-6 [把Hive最基本的操作玩的溜溜的] Hive数据表通用的基本操作 (21:24).mp4
- 6-7 [把Hive最基本的操作玩的溜溜的] Hive内部表和外部表的区别 (11:31).mp4
- 6-8 [把Hive最基本的操作玩的溜溜的] Hive分区表的创建及动态分区的实现 (23:18).mp4
- 6-9 [把Hive最基本的操作玩的溜溜的] Hive桶表的创建及使用 (07:15).mp4
- 6-10 [把Hive最基本的操作玩的溜溜的] Hive实现数据表一次扫描多次插入 (09:08).mp4
- 6-11 [把Hive最基本的操作玩的溜溜的] Hive中CTAS语法的使用 (02:41).mp4
- 6-12 [把Hive最基本的操作玩的溜溜的] Hive中数据的导入导出 (13:12).mp4
- 6-13 [把Hive最基本的操作玩的溜溜的] Hive中数据递归读取的设置 (11:46).mp4
- 6-14 [把Hive最基本的操作玩的溜溜的] Hive中使用CASE…WHEN…THEN的语法为字段打标签 (04:30).mp4
- 6-15 [把Hive最基本的操作玩的溜溜的] Hive中GROUP BY和HAVING语句的使用 (05:07).mp4
- 6-16 [把Hive最基本的操作玩的溜溜的] Hive中ORDER BY和SORT BY语句的使用 (07:22).mp4
- 6-17 [把Hive最基本的操作玩的溜溜的] Hive中DISTRIBUTE BY和CLUSTER BY语 (05:02).mp4
- 7-1 [Hive在大数据仓库中的应用] 认识数据仓库 (09:21).mp4
- 7-2 [Hive在大数据仓库中的应用] 数据仓库在大数据平台中的核心作用 (02:02).mp4
- 7-3 [Hive在大数据仓库中的应用] 什么样的企业需要开发企业级数据仓库 (03:37).mp4
- 7-4 [Hive在大数据仓库中的应用] 大数据仓库的数据来源 (11:53).mp4
- 7-5 [Hive在大数据仓库中的应用] 为什么不能直接操作业务系统中的数据用于分析而要使用数据仓库 (05:18).mp4
- 7-6 [Hive在大数据仓库中的应用] 深入了解星型模型的事实表 (42:08).mp4
- 7-7 [Hive在大数据仓库中的应用] 深入了解星型模型中的维度表 (06:18).mp4
- 7-8 [Hive在大数据仓库中的应用] 深度了解雪花模型 (08:03).mp4
- 7-9 [Hive在大数据仓库中的应用] 维度数据建模的流程 (08:27).mp4





