人工精选Hive大数据核心技术与项目实战
这门课解决什么工作场景 如果你在公司里面对的是几十上百 GB 的结构化业务数据,写几行 SQL 跑到超时,或者每天被要求把分散的日志、订单、用户行为汇总成宽表供管理层看,那么 Hive 就是你绕不开的工具。这门课瞄准的正是这类离线数仓建设的场景:把 HDFS 上的海量文件映射成可查询的表,用类 SQ
会员 · 按档位
游客按标价购买,不享受上表折扣。
支付成功后自动发放网盘链接,链接失效可找客服免费补
这门课解决什么工作场景
如果你在公司里面对的是几十上百 GB 的结构化业务数据,写几行 SQL 跑到超时,或者每天被要求把分散的日志、订单、用户行为汇总成宽表供管理层看,那么 Hive 就是你绕不开的工具。这门课瞄准的正是这类离线数仓建设的场景:把 HDFS 上的海量文件映射成可查询的表,用类 SQL 语法完成清洗、聚合和产出。它不涉及实时流处理,也不教机器学习算法,核心就是把数据按天或按批次加工成可用的结果。对于需要从传统关系型数据库转做大数据后端、或者在公司内部被要求接手 Hadoop 集群做数据加工的上班族,这套内容直接对应每天要写的取数和跑批任务。
适合什么基础与建议先看哪几块
这套资料默认你已经写过 SQL,知道 group by、join 和子查询是怎么回事,同时大致了解 Linux 命令行操作和 Hadoop 文件系统的基本概念。如果你完全没碰过数据库,建议先补基础再来看,否则到了多表关联和自定义函数环节会卡壳。拿到资料后,不要从头到尾顺序看,建议先跳到架构设计那一节,花十几分钟弄清楚 Hive 怎么把 SQL 翻译成 MapReduce 任务、Metastore 到底存了什么元数据。有了这个全局认知,再回去啃安装部署环节,你会明白为什么要配 MySQL、三种 Metastore 模式各自解决什么单点故障问题。理解了底层机制,后续写复杂查询时出 bug 才知道去哪排查。
学完能独立做什么与资料怎么配合练习
完整跟下来后,你应该能在一套 Hadoop 环境里独立部署 Hive 服务,把业务数据装进去,并且写出涵盖分区表、分桶表、内置函数和自定义 UDF 的加工脚本。具体来说,接到一份原始日志,你能自己设计表结构、按时间做分区、写清洗逻辑,最后把跑通的宽表落到指定路径供下游使用。看资料时务必边看边在自己机器上搭环境跑,光看视频不敲命令,到了真实集群上照样手忙脚乱。建议把课程里提到的配置文件和 SQL 脚本自己抄一遍改一遍,故意把路径写错或者把元数据库密码改错,看报错信息怎么提示。安装部署那几节看着枯燥,但自己踩过配置坑,以后换新公司接手别人搭的集群,看一眼配置就知道问题出在哪,这才是这门课对你日常干活最实在的价值。
课程目录
课程目录63 集
- 1-1 [课程介绍与完整资料下载] 0Hive核心技术与项目实战课程介绍 (06:56).mp4
- 2-1 [Hive架构设计] 1.1.hive概述 (06:44).mp4
- 2-2 [Hive架构设计] 1.2.hive在hadoop生态系统中的位置 (02:47).mp4
- 2-3 [Hive架构设计] 1.3.hive架构设计 (03:56).mp4
- 2-4 [Hive架构设计] 1.4hive优点及使用场景 (05:54).mp4
- 3-1 [Hive安装部署] 2.1MySQL服务安装1 (09:50).mp4
- 3-2 [Hive安装部署] 2.2MySQL服务安装2 (10:02).mp4
- 3-3 [Hive安装部署] 2.3Metastore 三中安装配置模式 (09:09).mp4
- 3-4 [Hive安装部署] 2.4hive安装与配置1 (09:36).mp4
- 3-5 [Hive安装部署] 2.5hive安装与配置2 (10:10).mp4
- 3-6 [Hive安装部署] 2.6hive服务启动与测试 (10:18).mp4
- 3-7 [Hive安装部署] 2.7HiveServer2与beeline客户端 (05:20).mp4
- 3-8 [Hive安装部署] 2.8配置hive远程访问模式 (11:40).mp4
- 3-9 [Hive安装部署] 2.9beeline客户端远程访问hive数据库 (07:01).mp4
- 3-10 [Hive安装部署] 2.10hive cli客户端远程访问hive数据库 (04:25).mp4
- 4-1 [Hive全面详解] 3.1hive对数据库的操作使用1 (09:19).mp4
- 4-2 [Hive全面详解] 3.2hive对数据库的操作使用2 (08:15).mp4
- 4-3 [Hive全面详解] 3.3hive中创建表的三种方式 (07:04).mp4
- 4-4 [Hive全面详解] 3.4hive对表的操作使用 (07:11).mp4
- 4-5 [Hive全面详解] 3.5数据加载到hive表的4种方式 (13:50).mp4
- 4-6 [Hive全面详解] 3.6数据导出hive的5种方式 (15:01).mp4
- 4-7 [Hive全面详解] 3.7hive数据备份与恢复 (07:52).mp4
- 4-8 [Hive全面详解] 3.8hive中常见的查询使用 (08:09).mp4
- 4-9 [Hive全面详解] 3.9hive中几种By操作的使用详解1 (11:39).mp4
- 4-10 [Hive全面详解] 3.10hive中几种By操作的使用详解2 (14:05).mp4
- 4-11 [Hive全面详解] 3.11hive中几种join操作的使用详解1 (12:34).mp4
- 4-12 [Hive全面详解] 3.12hive中几种join操作的使用详解2 (16:31).mp4
- 4-13 [Hive全面详解] 3.13hive中分区表使用详解 (09:05).mp4
- 4-14 [Hive全面详解] 3.14hive中外部表使用详解 (09:23).mp4
- 4-15 [Hive全面详解] 3.15hive中外部分区表在企业如何使用1 (12:13).mp4
- 4-16 [Hive全面详解] 3.16hive中外部分区表在企业如何使用2 (11:19).mp4
- 4-17 [Hive全面详解] 3.17hive中分桶表的使用 (14:06).mp4
- 4-18 [Hive全面详解] 3.18hive中桶数据的抽样查询 (10:37).mp4
- 5-1 [Hive高级扩展] 4.1hive自定义UDF函数案例详解1 (17:13).mp4
- 5-2 [Hive高级扩展] 4.2hive自定义UDF函数案例详解2 (10:18).mp4
- 5-3 [Hive高级扩展] 4.3hive自定义UDTF函数案例详解1 (16:32).mp4
- 5-4 [Hive高级扩展] 4.4hive自定义UDTF函数案例详解2 (10:58).mp4
- 5-5 [Hive高级扩展] 4.5hive自定义UDAF函数案例详解1 (09:25).mp4
- 5-6 [Hive高级扩展] 4.6hive自定义UDAF函数案例详解2 (08:20).mp4
- 5-7 [Hive高级扩展] 4.7hive中数据压缩配置使用1 (09:11).mp4
- 5-8 [Hive高级扩展] 4.8hive中数据压缩配置使用2 (11:08).mp4
- 5-9 [Hive高级扩展] 4.9hive中几种常用的数据格式 (05:21).mp4
- 5-10 [Hive高级扩展] 4.10hive中ORC+Snappy案例详解 (08:59).mp4
- 5-11 [Hive高级扩展] 4.11hive中Parquet+Snappy案例详解 (07:15).mp4
- 6-1 [Hive企业级优化] 5.1Hive企业优化之Fetch Task (11:14).mp4
- 6-2 [Hive企业级优化] 5.2Hive企业优化之执行计划 (06:31).mp4
- 6-3 [Hive企业级优化] 5.3Hive企业优化之本地模式 (06:21).mp4
- 6-4 [Hive企业级优化] 5.4Hive企业优化之表Join优化1 (10:11).mp4
- 6-5 [Hive企业级优化] 5.5Hive企业优化之Join优化2 (09:09).mp4
- 6-6 [Hive企业级优化] 5.6Hive企业优化之group by优化 (08:30).mp4
- 6-7 [Hive企业级优化] 5.7Hive企业优化之count(distinct)优化 (07:51).mp4
- 6-8 [Hive企业级优化] 5.8Hive企业优化之行和列的优化 (07:17).mp4
- 6-9 [Hive企业级优化] 5.9Hive企业优化之合理设置map和reduce个数 (12:43).mp4
- 6-10 [Hive企业级优化] 5.10Hive企业优化之多阶段并行执行 (03:44).mp4
- 6-11 [Hive企业级优化] 5.11Hive企业优化之Strict Mode (03:25).mp4
- 6-12 [Hive企业级优化] 5.12Hive企业优化之JVM重用 (03:24).mp4
- 6-13 [Hive企业级优化] 5.13Hive企业级优化之数据压缩、分区和分桶 (03:11).mp4
- 7-1 [Hive项目实战] 6.1Hive项目实战之需求分析 (02:58).mp4
- 7-2 [Hive项目实战] 6.2Hive项目实战之数据结构分析 (03:19).mp4
- 7-3 [Hive项目实战] 6.3Hive项目实战之准备工作 (11:11).mp4
- 7-4 [Hive项目实战] 6.4Hive项目实战之业务分析1 (04:15).mp4
- 7-5 [Hive项目实战] 6.5Hive项目实战之业务分析2 (07:52).mp4
- 7-6 [Hive项目实战] 6.6Hive项目实战之业务分析3 (11:22).mp4





