人工精选【中级】数据仓库工具Hive在大数据项目中的应用与实践
值不值得学:先看你的工作场景是否需要自己搭数仓 这份资料讲的是 Hive 在大数据项目里的应用,核心解决一个很具体的场景:当业务数据量大到传统数据库扛不住,需要搬到 Hadoop 生态里做离线分析时,怎么用 Hive 把结构化查询和分布式存储对接起来。它不是讲怎么写 SQL,而是讲怎么从零搭起一套能
会员 · 按档位
游客按标价购买,不享受上表折扣。
支付成功后自动发放网盘链接,链接失效可找客服免费补
值不值得学:先看你的工作场景是否需要自己搭数仓
这份资料讲的是 Hive 在大数据项目里的应用,核心解决一个很具体的场景:当业务数据量大到传统数据库扛不住,需要搬到 Hadoop 生态里做离线分析时,怎么用 Hive 把结构化查询和分布式存储对接起来。它不是讲怎么写 SQL,而是讲怎么从零搭起一套能跑的底层环境,再让 Hive 在上面稳定跑数。如果你日常只是用 MySQL 做业务查询,或者只是用 BI 工具拖拽报表,这门课暂时用不上;但如果你要转去做数据开发,或者公司正在把数据往 Hadoop 迁移,需要你参与搭建和维护数仓底层,那这份资料就切中要害。它适合有一定 Linux 基础和 SQL 基础的人,如果你完全没碰过命令行,前期环境搭建环节会比较吃力。
建议怎么看:先把集群跑起来,再碰 Hive 本身
资料的前半段几乎都在搭环境,从 Linux 虚拟机到 Zookeeper 集群,再到 Hadoop 底层,这部分很多人会觉得枯燥想跳过,但恰恰是这门课最实在的地方。因为 Hive 不是独立运行的,它依赖 HDFS 做存储、依赖协调服务做集群管理,底层环境搭不稳,后面写再多的查询语句都是空中楼阁。建议先跟着把三台虚拟机的集群搭起来,把 hosts 配置、时钟同步、免密登录这些琐碎但关键的步骤完整走一遍,确保 Zookeeper 能正常启动,再去碰 Hive 的安装和配置。环境跑通之后,重点看 Hive 的数据模型设计、内部表和外部表的区别、分区和分桶怎么用,这些是实际项目里每天都要做的决策。
学完能做什么:独立搭一套小规模数仓并跑通分析任务
跟着走完之后,你应该能独立完成几件事:在 Linux 环境下部署一套分布式集群,配置好节点间的通信和协调服务;在集群上安装配置 Hive,连接到已有的 HDFS 存储;设计合理的表结构,把业务数据导入进去并做分区管理;用 HiveQL 写离线分析任务,处理日常报表需求。配合资料练习时,建议不要只看视频,一定要自己开虚拟机跟着敲,尤其是集群脚本那部分,自己写一遍分发脚本和启停脚本,比看十遍都管用。遇到环境报错先查日志再搜解决方案,这个排错过程本身就是在积累实战经验。整体节奏不用急,前半段环境搭建花一周很正常,后半段 Hive 实践再花一周,稳比快重要。
课程目录
课程目录106 集
- 1-1 [课程介绍与资料下载] 课程整体介绍 (10:08).mp4
- 1-2 [课程介绍与资料下载] 完整资料下载 (10:08).mp4
- 2-1 [从0搭建Zookeeper分布式集群] 节点集群环境准备 (12:53).mp4
- 2-2 [从0搭建Zookeeper分布式集群] 配置集群hosts文件 (03:19).mp4
- 2-3 [从0搭建Zookeeper分布式集群] 配置集群时钟服务器 (08:54).mp4
- 2-4 [从0搭建Zookeeper分布式集群] 配置集群ssh免密登录 (10:36).mp4
- 2-5 [从0搭建Zookeeper分布式集群] 集群脚本开发 (18:31).mp4
- 2-6 [从0搭建Zookeeper分布式集群] 搭建zookeeper分布式集群 (15:33).mp4
- 3-1 [从0搭建Linux操作系统] VMware WorkStations安装 (06:38).mp4
- 3-2 [从0搭建Linux操作系统] Linux系统介绍 (06:41).mp4
- 3-3 [从0搭建Linux操作系统] 创建新的虚拟机 (08:27).mp4
- 3-4 [从0搭建Linux操作系统] 安装Centos7操作系统 (12:05).mp4
- 3-5 [从0搭建Linux操作系统] Linux静态IP配置 (08:22).mp4
- 3-6 [从0搭建Linux操作系统] Linux系统配置 (14:07).mp4
- 3-7 [从0搭建Linux操作系统] JDK安装与配置 (09:54).mp4
- 3-8 [从0搭建Linux操作系统] Hadoop伪分布集群配置 (15:06).mp4
- 3-9 [从0搭建Linux操作系统] Hadoop伪分布集群启动与测试 (14:20).mp4
- 4-1 [从0搭建Hadoop分布式集群] Hadoop集群规划 (04:19).mp4
- 4-2 [从0搭建Hadoop分布式集群] HDFS集群配置 (17:54).mp4
- 4-3 [从0搭建Hadoop分布式集群] 启动HDFS集群服务 (12:53).mp4
- 4-4 [从0搭建Hadoop分布式集群] HDFS集群测试运行 (09:51).mp4
- 4-5 [从0搭建Hadoop分布式集群] YARN集群配置 (07:50).mp4
- 4-6 [从0搭建Hadoop分布式集群] 启动YARN集群服务 (04:18).mp4
- 4-7 [从0搭建Hadoop分布式集群] YARN集群测试运行 (09:00).mp4
- 4-8 [从0搭建Hadoop分布式集群] Hadoop集群故障转移测试 (13:27).mp4
- 5-1 [Hive数仓工具的架构设计] hive概述 (06:44).mp4
- 5-2 [Hive数仓工具的架构设计] hive在hadoop生态系统中的位置 (02:47).mp4
- 5-3 [Hive数仓工具的架构设计] hive架构设计 (03:56).mp4
- 5-4 [Hive数仓工具的架构设计] hive优点及使用场景 (05:54).mp4
- 6-1 [Hive数仓平台的安装部署] MySQL服务安装1 (09:50).mp4
- 6-2 [Hive数仓平台的安装部署] MySQL服务安装2 (10:02).mp4
- 6-3 [Hive数仓平台的安装部署] Metastore 三中安装配置模式 (09:09).mp4
- 6-4 [Hive数仓平台的安装部署] hive安装与配置1 (09:36).mp4
- 6-5 [Hive数仓平台的安装部署] hive安装与配置2 (10:10).mp4
- 6-6 [Hive数仓平台的安装部署] hive服务启动与测试 (10:18).mp4
- 6-7 [Hive数仓平台的安装部署] HiveServer2与beeline客户端 (05:20).mp4
- 6-8 [Hive数仓平台的安装部署] 配置hive远程访问模式 (11:40).mp4
- 6-9 [Hive数仓平台的安装部署] beeline客户端远程访问hive数据库 (07:01).mp4
- 6-10 [Hive数仓平台的安装部署] hive cli客户端远程访问hive数据库 (04:25).mp4
- 7-1 [玩转Hive数仓工具最基本的操作] hive对数据库的操作使用1 (09:19).mp4
- 7-2 [玩转Hive数仓工具最基本的操作] hive对数据库的操作使用2 (08:15).mp4
- 7-3 [玩转Hive数仓工具最基本的操作] hive中创建表的三种方式 (07:04).mp4
- 7-4 [玩转Hive数仓工具最基本的操作] hive对表的操作使用 (07:12).mp4
- 7-5 [玩转Hive数仓工具最基本的操作] 数据加载到hive表的4种方式 (13:50).mp4
- 7-6 [玩转Hive数仓工具最基本的操作] 数据导出hive的5种方式 (15:01).mp4
- 7-7 [玩转Hive数仓工具最基本的操作] hive数据备份与恢复 (07:52).mp4
- 7-8 [玩转Hive数仓工具最基本的操作] hive中常见的查询使用 (08:09).mp4
- 7-9 [玩转Hive数仓工具最基本的操作] hive中几种By操作的使用详解1 (11:39).mp4
- 7-10 [玩转Hive数仓工具最基本的操作] hive中几种By操作的使用详解2 (14:05).mp4
- 7-11 [玩转Hive数仓工具最基本的操作] hive中几种join操作的使用详解1 (12:34).mp4
- 7-12 [玩转Hive数仓工具最基本的操作] hive中几种join操作的使用详解2 (16:31).mp4
- 7-13 [玩转Hive数仓工具最基本的操作] hive中分区表使用详解 (09:05).mp4
- 7-14 [玩转Hive数仓工具最基本的操作] hive中外部表使用详解 (09:23).mp4
- 7-15 [玩转Hive数仓工具最基本的操作] hive中外部分区表在企业如何使用1 (12:13).mp4
- 7-16 [玩转Hive数仓工具最基本的操作] hive中外部分区表在企业如何使用2 (11:19).mp4
- 7-17 [玩转Hive数仓工具最基本的操作] hive中分桶表的使用 (14:06).mp4
- 7-18 [玩转Hive数仓工具最基本的操作] hive中桶数据的抽样查询 (10:37).mp4
- 8-1 [Hive数仓工具进阶技能] hive自定义UDF函数案例详解1 (17:13).mp4
- 8-2 [Hive数仓工具进阶技能] hive自定义UDF函数案例详解2 (10:18).mp4
- 8-3 [Hive数仓工具进阶技能] hive自定义UDTF函数案例详解1 (16:32).mp4
- 8-4 [Hive数仓工具进阶技能] hive自定义UDTF函数案例详解2 (10:58).mp4
- 8-5 [Hive数仓工具进阶技能] hive自定义UDAF函数案例详解1 (09:25).mp4
- 8-6 [Hive数仓工具进阶技能] hive自定义UDAF函数案例详解2 (08:21).mp4
- 8-7 [Hive数仓工具进阶技能] hive中数据压缩配置使用1 (09:11).mp4
- 8-8 [Hive数仓工具进阶技能] hive中数据压缩配置使用2 (11:08).mp4
- 8-9 [Hive数仓工具进阶技能] hive中几种常用的数据格式 (05:21).mp4
- 8-10 [Hive数仓工具进阶技能] hive中ORC+Snappy案例详解 (08:59).mp4
- 8-11 [Hive数仓工具进阶技能] hive中Parquet+Snappy案例详解 (07:15).mp4
- 9-1 [Hive数仓工具企业级优化] Hive企业优化之Fetch Task (11:14).mp4
- 9-2 [Hive数仓工具企业级优化] Hive企业优化之执行计划 (06:31).mp4
- 9-3 [Hive数仓工具企业级优化] Hive企业优化之本地模式 (06:21).mp4
- 9-4 [Hive数仓工具企业级优化] Hive企业优化之表Join优化1 (10:11).mp4
- 9-5 [Hive数仓工具企业级优化] Hive企业优化之Join优化2 (09:09).mp4
- 9-6 [Hive数仓工具企业级优化] Hive企业优化之group by优化 (08:30).mp4
- 9-7 [Hive数仓工具企业级优化] Hive企业优化之count(distinct)优化 (07:52).mp4
- 9-8 [Hive数仓工具企业级优化] Hive企业优化之行和列的优化 (07:17).mp4
- 9-9 [Hive数仓工具企业级优化] Hive企业优化之合理设置map和reduce个数 (12:43).mp4
- 9-10 [Hive数仓工具企业级优化] Hive企业优化之多阶段并行执行 (03:44).mp4
- 9-11 [Hive数仓工具企业级优化] Hive企业优化之Strict Mode (03:25).mp4
- 9-12 [Hive数仓工具企业级优化] Hive企业优化之JVM重用 (03:24).mp4
- 9-13 [Hive数仓工具企业级优化] Hive企业级优化之数据压缩、分区和分桶 (03:11).mp4
- 10-1 [Hive大数据项目实战(一)] Hive项目实战之需求分析 (02:58).mp4
- 10-2 [Hive大数据项目实战(一)] Hive项目实战之数据结构分析 (03:19).mp4
- 10-3 [Hive大数据项目实战(一)] Hive项目实战之准备工作 (11:11).mp4
- 10-4 [Hive大数据项目实战(一)] Hive项目实战之业务分析1 (04:15).mp4
- 10-5 [Hive大数据项目实战(一)] Hive项目实战之业务分析2 (07:52).mp4
- 10-6 [Hive大数据项目实战(一)] Hive项目实战之业务分析3 (11:21).mp4
- 11-1 [从0搭建Sqoop数据迁移工具] Sqoop架构及工作原理 (06:19).mp4
- 11-2 [从0搭建Sqoop数据迁移工具] Sqoop客户端安装部署 (13:51).mp4
- 11-3 [从0搭建Sqoop数据迁移工具] Sqoop迁移Hive仓库数据 (20:02).mp4
- 12-1 [从0搭建Davinci可视化分析工具] Davinci架构设计 (05:45).mp4
- 12-2 [从0搭建Davinci可视化分析工具] Davinci安装部署1 (10:38).mp4
- 12-3 [从0搭建Davinci可视化分析工具] Davinci安装部署2 (17:57).mp4
- 12-4 [从0搭建Davinci可视化分析工具] 启动Davinci服务 (07:19).mp4
- 13-1 [Hive大数据项目实战(二)] 项目需求分析与架构设计 (06:12).mp4
- 13-2 [Hive大数据项目实战(二)] 准备互联网金融项目数据源 (15:17).mp4
- 13-3 [Hive大数据项目实战(二)] Sqoop采集MySQL数据库 (18:27).mp4
- 13-4 [Hive大数据项目实战(二)] 互联网金融项目离线分析1 (08:08).mp4
- 13-5 [Hive大数据项目实战(二)] 互联网金融项目离线分析2 (07:21).mp4
- 13-6 [Hive大数据项目实战(二)] 互联网金融项目离线分析3 (14:10).mp4
- 13-7 [Hive大数据项目实战(二)] 互联网金融项目离线分析4 (05:04).mp4
- 13-8 [Hive大数据项目实战(二)] 报表数据库建模 (04:30).mp4
- 13-9 [Hive大数据项目实战(二)] 统计结果导入报表数据库 (11:49).mp4
- 13-10 [Hive大数据项目实战(二)] 互联网金融项目数据大屏制作1 (15:46).mp4
- 13-11 [Hive大数据项目实战(二)] 互联网金融项目数据大屏制作2 (11:00).mp4
- 13-12 [Hive大数据项目实战(二)] 互联网金融项目数据大屏制作3 (10:08).mp4





