人工精选4期大数据之Hadoop生态圈教程(Hadoop、Hive、Hbase、Kafka、Flume）
这套大数据体系课值不值得学 很多上班族想转行做数据，买课最怕两种情况：要么纯讲理论，听完连环境都搭不起来；要么一上来就堆术语，Hadoop、Hive、Kafka 全糊在一起，不知道实际工作里到底用哪个。这套以 Hadoop 生态圈为核心的体系课，解决的核心场景很明确：当你面对几十上百 GB 的业务日
会员 · 按档位
游客按标价购买，不享受上表折扣。
支付成功后自动发放网盘链接，链接失效可找客服免费补
这套大数据体系课值不值得学
很多上班族想转行做数据，买课最怕两种情况：要么纯讲理论，听完连环境都搭不起来；要么一上来就堆术语，Hadoop、Hive、Kafka 全糊在一起，不知道实际工作里到底用哪个。这套以 Hadoop 生态圈为核心的体系课，解决的核心场景很明确：当你面对几十上百 GB 的业务日志，单机 Excel 和传统数据库根本扛不住时，怎么用分布式集群去存、去搬、去算。它不是带你刷概念，而是从独立模式、伪分布式一路敲到完全分布式集群，中间还包括格式化、虚拟机克隆和调错。如果你现在的痛点是“看过大数据的书但不敢说自己能搭集群”，或者“在公司碰过一点数据脚本但没系统操作过底层组件”，这套课的实操密度刚好能补上这块。
先看哪几块，资料怎么配合练习
这套资料是典型的“边看边敲”类型，建议别按顺序从头猛刷，而是分三步走。第一步先死磕 Hadoop 前两天的环境搭建，这是整门课的地基。资料里关于完全分布式搭建和调错的部分非常关键，很多转行者卡在第一步就是因为端口不通、脚本没写对，这部分视频要反复看，跟着把虚拟机克隆、分发脚本跑通，别跳过报错环节。第二步，集群能启动后，直接上手 Hive 去写 SQL 处理数据，这是日常工作中用得最多的组件；同时配合 Flume 和 Kafka 去练数据采集，理解日志怎么从外部流到 HDFS 里。第三步再看 Hbase，理解海量数据的快速读写。练习时不要只用现成脚本，一定要自己造点假数据，比如模拟几条访问日志，自己写采集规则、自己建内部表去查，把数据流转的链路完整走一遍。
学完能独立做什么
把这套资料里的核心组件练熟后，你能独立承担的最实际的工作，是搭建一套中小型企业的离线数据处理平台。具体来说，你能在一组虚拟机或云服务器上把 Hadoop 集群配好，用 Flume 把 Nginx 或业务系统产生的日志收集起来，用 Kafka 做个数据缓冲，最终落到 HDFS 上，再用 Hive 写 SQL 把这些原始日志清洗成结构化的业务报表数据。这恰好是很多传统公司转型做数据分析时最急需的基础能力。它不涉及实时流计算那种高深架构，但对付日常的离线数仓建设、历史数据迁移和批量统计分析完全够用。对于想转行做数据开发或者后端想往数据方向靠的上班族来说，能把这套离线链路自己从头搭到尾，面试时讲清楚每一步的原理和踩过的坑，就已经是个合格的入门者了。
学习Hadoop生态圈技术，能熟练使用和操作，胜任企业级的开发。
课程目录
* 01 Hadoop第1天/
* 01 Hadoop第01天-01.大数据介绍.mp4 41:54
* 02 Hadoop第01天-02.hadoop介绍-jdk安装.mp4 36:07
* 03 Hadoop第01天-03.hadoop安装-配置(独立模式.mp4 01:09:17
* 02 Hadoop第2天/
* 01 Hadoop第02天-01.伪分布式启动-fs格式化-web.mp4 30:01
* 02 Hadoop第02天-02.完全分布式-准备工作-虚拟机克隆.mp4 33:52
* 03 Hadoop第02天-03.完全分布式-搭建.mp4 57:06
* 04 Hadoop第02天-04.完全分布式-调错2.mp4 55:25
* 05 Hadoop第02天-05.完全分布式-编写脚本-xcall.mp4 01:11:07
* 03 Hadoop第3天/
* 01 Hadoop第03天-01.脚本分析-单个进程启动.mp4 01:29:38
* 02 Hadoop第03天-02.hdfs常用操作.mp4 19:03
* 03 Hadoop第03天-03.hadoop基础-hdfs-bl.mp4 56:08
* 04 Hadoop第03天-04.hadoop API-网络拓扑.mp4 02:09:53
* 04 Hadoop第4天/
* 01 Hadoop第04天-01.maven搭建.mp4 15:03
* 02 Hadoop第04天-02.maven-idea.mp4 11:06
* 03 Hadoop第04天-03.maven-idea-创建项目-.mp4 17:42
* 04 Hadoop第04天-04.idea-快捷键设置-项目调整-.mp4 08:23
* 05 Hadoop第04天-05.hadoop最小块设置-指定副本.mp4 01:05:27
* 06 Hadoop第04天-06.hadoop滚动日志-安全模式-.mp4 49:29
* 07 Hadoop第04天-07.配额管理-空间配合-目录配额.mp4 19:39
* 08 Hadoop第04天-08.快照管理-删除-创建-重命名-启.mp4 19:32
* 09 Hadoop第04天-09.节点的服役和退役.mp4 45:11
* 10 Hadoop第04天-10.rose建模-虚拟光驱安装.mp4 28:19
* 05 Hadoop第5天/
* 01 Hadoop第05天-01-hdfs写入剖析.mp4 01:09:56
* 02 Hadoop第05天-02-hdfs写入剖析2.mp4 01:04:54
* 03 Hadoop第05天-03-2nn融合nn的镜像文件和编辑日.mp4 20:45
* 04 Hadoop第05天-04-MR介绍.mp4 17:37
* 05 Hadoop第05天-05-MR编写以及运行原理.mp4 52:14
* 06 Hadoop第05天-06-MR原理图剖析.mp4 01:12:22
* 07 Hadoop第05天-07-MR集群模式部署-运行.mp4 49:53
* 06 Hadoop第6天/
* 01 Hadoop第06天-01.Yarn作业提交过程.mp4 30:02
* 02 Hadoop第06天-02.job的文件split计算法则.mp4 23:26
* 03 Hadoop第06天-03.切片和recorderreade.mp4 42:32
* 04 Hadoop第06天-04.压缩文件.mp4 30:52
* 05 Hadoop第06天-05.程序打包-centos运行-远程.mp4 34:18
* 06 Hadoop第06天-06.5pom中引入antrun插件-.mp4 23:50
* 07 Hadoop第06天-07.LZO压缩编解码配置与测试.mp4 21:22
* 08 Hadoop第06天-08.seqfile文件结构-同步点-.mp4 01:06:18
* 09 Hadoop第06天-09.自定义分区-数据倾斜-combi.mp4 01:18:46
* 07 Hadoop第7天/
* 01 Hadoop第07天-01.多输入问题.mp4 38:47
* 02 Hadoop第07天-02.计数器使用-跟踪运行信息.mp4 53:05
* 03 Hadoop第07天-03.hadoop全排序.mp4 35:07
* 04 Hadoop第07天-04.hadoop全排序-采样器.mp4 47:18
* 05 Hadoop第07天-05.hadoop二次排序-原理-实现.mp4 01:09:51
* 06 Hadoop第07天-06.hadoop二次排序-编程实现-.mp4 44:03
* 08 Hadoop第8天/
* 01 Hadoop第08天-01.二次排序-链条化.mp4 58:04
* 02 Hadoop第08天-02.数据倾斜-自定义分区-随机分配.mp4 45:09
* 03 Hadoop第08天-03.链式处理map和reduce t.mp4 32:45
* 04 Hadoop第08天-04.DBInputFormat-DB.mp4 01:07:44
* 05 Hadoop第08天-05.DBInputFormat-DB.mp4 58:54
* 09 Hadoop第9天/
* 01 Hadoop第09天-01.机架感知.mp4 50:19
* 02 Hadoop第09天-02.机架感知实现-配置.mp4 29:03
* 03 Hadoop第09天-03.手动移动块数据-HA介绍.mp4 36:43
* 04 Hadoop第09天-04.hadoop-ha介绍-配置-原.mp4 49:21
* 05 Hadoop第09天-05.hadoop-ha-配置.mp4 01:12:59
* 06 Hadoop第09天-06.hadoop-ha-配置总结.mp4 14:48
* 10 Hadoop第10天/
* 01 Hadoop第10天-01.mysql-jdbc加强.mp4 12:25
* 02 Hadoop第10天-02.mysql-jdbc加强-sta.mp4 29:25
* 03 Hadoop第10天-03.mysql-定义存储过程.mp4 26:20
* 04 Hadoop第10天-04.jdbc通过callableSt.mp4 05:10
* 05 Hadoop第10天-05.jdbc通过callableSt.mp4 10:51
* 06 Hadoop第10天-06.jdbc通过CallableSt.mp4 08:28
* 07 Hadoop第10天-07.jdbc事务处理并发现象-脏读-.mp4 10:18
* 08 Hadoop第10天-08.mysql并发现象-脏读设置与演.mp4 22:55
* 09 Hadoop第10天-09.mysql并发现象-不可重复设置.mp4 16:30
* 10 Hadoop第10天-10.mysql并发现象-serial.mp4 35:40
* 11 Hadoop第10天-11.java编程展现隔离级别-连接查.mp4 36:32
* 12 Hadoop第10天-12.mysql查询语法构成-wher.mp4 26:40
* 13 Hadoop第10天-13.mysql嵌套子查询-分组-ha.mp4 35:15
* 11 Hadoop第11天/
* 01 Hadoop第11天-01.Hadoop实现join操作原理.mp4 15:51
* 02 Hadoop第11天-02.MR Map端连接实现.mp4 21:49
* 03 Hadoop第11天-03.MR Reduce端连接实现-组.mp4 31:59
* 04 Hadoop第11天-04.MR Reduce端连接实现-排.mp4 11:46
* 12 Hive第1天/
* 01 Hive第01天-01.hive的安装-配置.mp4 27:07
* 02 Hive第01天-02.hive基本操作-建库-建表.mp4 19:01
* 03 Hive第01天-03.hive中使用hiveserver2.mp4 16:32
* 04 Hive第01天-04.hive中使用API通过jdbc访问.mp4 05:38
* 05 Hive第01天-05.hive中分区表-添加-删除-加载-.mp4 55:24
* 06 Hive第01天-06.hive中桶表-实现-操作.mp4 43:05
* 13 Hive第02天/
* 01 Hive第02天-01.hive操作-排序.mp4 48:15
* 02 Hive第02天-02.hive动态分区-严格模式-非严格模.mp4 21:12
* 03 Hive第02天-03.hive事务处理-聚合.mp4 23:26
* 04 Hive第02天-04.hive实现单词统计-嵌套子查询-分.mp4 06:19
* 05 Hive第02天-05.hive实现单词统计-结果存储-事务.mp4 09:35
* 06 Hive第02天-06.hive视图操作.mp4 20:50
* 07 Hive第02天-07.hive调优-mr严格模式-map端.mp4 51:39
* 08 Hive第02天-08.JVM重用-MR数量限制-本地模式.mp4 13:51
* 09 Hive第02天-09.HiveUDF函数.mp4 39:00
* 10 Hive第02天-10.HiveUDF函数-注册函数-使用函.mp4 10:00
* 11 Hive第02天-11.HiveUDF函数-日期时间函数.mp4 35:56
* 12 Hive第02天-12.HiveUDF-使用GenericU.mp4 27:56
* 13 Hive第02天-13.HiveUDF-GenericUDF.mp4 09:33
* 14 Avro和Protobuf/
* 01 Hive第03天-01.hive的数据倾斜.mp4 28:03
* 02 01.protobuf串行化.mp4 31:31
* 03 02.protobuf和java对比.mp4 15:59
* 04 03.avro串行化-编译方式.mp4 31:20
* 05 04.avro串行化-编译方式-串行-反串行.mp4 06:28
* 06 05.avro串行化-非编译模式.mp4 15:17
* 15 Zookeeper第1天/
* 01 ZooKeeper第01天-01.zk介绍-相关概念.mp4 25:23
* 02 ZooKeeper第01天-02.zk安装-配置-服务器启动.mp4 13:56
* 03 ZooKeeper第01天-03.zk命令操作.mp4 25:11
* 04 ZooKeeper第01天-04.zk API访问zk数据.mp4 05:28
* 05 ZooKeeper第01天-05.zk递归方式输出zk系统目.mp4 06:24
* 06 ZooKeeper第01天-06.zk观察者模式-编程API.mp4 01:04:00
* 07 ZooKeeper第01天-07.zk的读写操作过程.mp4 12:20
* 16 ZooKeeper第2天/
* 01 ZooKeeper第02天-01.leader推选法则.mp4 24:33
* 02 ZooKeeper第02天-02.zk完全分布式集群配置.mp4 11:26
* 03 ZooKeeper第02天-03.HA分布式自动容灾1.mp4 37:10
* 04 ZooKeeper第02天-04.HA分布式自动容灾2-配置.mp4 22:20
* 05 ZooKeeper第02天-05.RM的HA配置.mp4 16:18
* 17 HBase第1天/
* 01 Hbase第01天-01.Hbse介绍.mp4 18:37
* 02 Hbase第01天-02.Hbse完全分布式集群搭建.mp4 27:37
* 03 Hbase第01天-03.HA集群架构回顾.mp4 19:03
* 18 HBase第2天/
* 01 Hbase第02天-01.hbase HA.mp4 19:48
* 02 Hbase第02天-02.hbase shell基本操作.mp4 39:38
* 03 Hbase第02天-03.hbase API方式实现插入和查.mp4 18:12
* 04 Hbase第02天-04.hbase 架构介绍.mp4 38:20
* 05 Hbase第02天-05.hbase写入过程剖析-百万数据插.mp4 36:50
* 06 Hbase第02天-06.hbase表和区域的切割.mp4 50:34
* 07 Hbase第02天-07.hbase和hadoop HA集成.mp4 11:22
* 08 Hbase第02天-08.hbase手动移动区域.mp4 20:04
* 09 Hbase第02天-09.hbaseAPI访问hbase数据.mp4 01:05:03
* 19 Hbase第03天/
* 01 Hbase第03天-01.hbase预切割.mp4 29:46
* 02 Hbase第03天-02.hbase版本数据-检查时版本数指.mp4 17:40
* 03 Hbase第03天-03.hbase版本TTL-原生扫描-K.mp4 46:17
* 04 Hbase第03天-04.hbase扫描器缓存-设置-测试.mp4 33:41
* 05 Hbase第03天-05.hbase扫描器批处理设置.mp4 27:07
* 06 Hbase第03天-06.hbase过滤器-row-fami.mp4 33:24
* 07 Hbase第03天-07.hbasePage过滤-复杂查询.mp4 55:14
* 08 Hbase第03天-08.hbase计数器.mp4 23:39
* 09 Hbase第03天-09.hbase协处理器.mp4 52:44
* 20 Hbase第04天/
* 01 Hbase第04天-01.rowkey的设计原则.mp4 52:29
* 02 Hbase第04天-02rowkey的设计原则2.mp4 32:32
* 03 Hbase第04天-03.rowkey的Calllogs呼叫.mp4 34:17
* 04 Hbase第04天-04.CallLog日志数据put和协处.mp4 39:21
* 05 Hbase第04天-05.CallLog实现-测试.mp4 44:31
* 06 Hbase第04天-06.CallLog实现-查询通化详单.mp4 13:50
* 07 Hbase第04天-07.hbase的布隆过滤器.mp4 17:09
* 08 Hbase第04天-08.hbase的phonix.mp4 16:16
* 09 Hbase第04天-09.phonix客户端SQuirrel.mp4 26:28
* 10 Hbase第04天-10.SQuirrel使用-SQL语句-.mp4 18:41
* 21 Hbase第05天/
* 01 Hbase第05天-01.Hive-Hbase集成,hive.mp4 38:29
* 22 Flume/
* 01 01.flume日志收集介绍与架构.mp4 24:22
* 02 02.flume-netcat source.mp4 28:51
* 03 03.flume-常用的source-exec-spoold.mp4 31:01
* 04 04.flume-hdfs.mp4 39:13
* 05 05.flume-hbase sink.mp4 03:46
* 06 06.flume-hdfs round-roller区别.mp4 08:55
* 07 07.flume-avro hop跃点.mp4 54:52
* 08 08.flume-channel-file-memory-s.mp4 34:27
* 23 Kafka/
* 01 01.JMS简介-kafka.mp4 20:03
* 02 02.kafka安装.mp4 24:43
* 03 03.kafka集群配置-启动-验证.mp4 07:42
* 04 04.kafka生产消费控制台配置演示.mp4 07:10
* 05 05.kafka分区-部分-再平衡.mp4 01:22:00
* 06 06.kafka手动分区再平衡-同步复制-异步复制.mp4 51:53
* 07 07.通过java API编程实现kafka消息生产者.mp4 21:20
* 08 08.通过java API编程实现kafka消息消费者.mp4 22:08
* 09 09.flume与kafka集成.mp4 48:35
同类课程
和你正在看的这门一个方向
体系课AI大模型开发2026线下版V7.5
永久有效 · 网盘发货
体系课小滴课堂新一代AI全栈工程师-微服务AI智能面试对话平台
永久有效 · 网盘发货
体系课QCon 北京 2026 （4 月）
永久有效 · 网盘发货
体系课AI+全能测试工程师
永久有效 · 网盘发货
体系课小滴课堂中间件项目大课-自动化云测平台/Spingboot3.X/微服务/Kafka3.x
永久有效 · 网盘发货
体系课图灵工控一期：上位机+AI
永久有效 · 网盘发货