人工精选大数据Hadoop生态圈体系完整视频课程-经典部分
这门课解决什么问题:离线日志数据的采集与分析 很多做后端或数据相关工作的上班族,平时用 MySQL 写几句查询就觉得遇到了天花板。一旦公司业务产生的日志量猛增,比如每天几千万条用户访问记录,单机数据库根本扛不住,这时候就需要引入 Hadoop 生态圈来做离线处理。这门课聚焦的正是这个痛点:怎么把散落
会员 · 按档位
游客按标价购买,不享受上表折扣。
支付成功后自动发放网盘链接,链接失效可找客服免费补
这门课解决什么问题:离线日志数据的采集与分析
很多做后端或数据相关工作的上班族,平时用 MySQL 写几句查询就觉得遇到了天花板。一旦公司业务产生的日志量猛增,比如每天几千万条用户访问记录,单机数据库根本扛不住,这时候就需要引入 Hadoop 生态圈来做离线处理。这门课聚焦的正是这个痛点:怎么把散落在各处的日志数据收集起来,存到分布式文件系统里,再跑批分析出业务需要的结果。它不是泛泛讲理论,而是围绕一个真实的“日志存储与分析项目”推进。从用 Flume 把数据采集到 HDFS,再用 Hive 写 SQL 做离线统计,最后通过 Sqoop 和 HBase 做数据流转与存储,整个链路覆盖了公司里最常见的数据离线处理场景。
适合什么基础与建议先看的模块
这套资料不适合完全没写过代码的转行者。你需要有基本的 Linux 命令行操作能力,懂一点 Java 或者 SQL 语法,最好自己装过虚拟机折腾过环境。如果你是想从传统运维或后端开发转做数据工程的上班族,这套课的衔接作用很明显。建议不要从头按部就班看,先直接跳到 Flume 采集和 Hive 分析这两块。Flume 部分虽然课时不长,但讲清楚了数据怎么从源头流向 HDFS,尤其是两级串联的部署模式,正是实际公司里做高可用采集的缩影。看完采集,紧接着去啃 Hive 分析那部分,这块课时比较扎实,演示了怎么把采集到的原始日志建表清洗并做业务统计。把这两块吃透,你就能明白离线数据处理的核心骨架,后续的 Kafka 解耦和 HBase 存储模块,可以当做进阶补充去看。
学完能独立做什么以及资料怎么配合练习
学完这套资料,你应该能独立搭起一套小型的离线数据分析流水线。具体来说,面对一堆服务器产生的文本日志,你知道怎么配置 Flume Agent 把数据安全落到 HDFS,知道怎么在 Hive 里建外部表、写解析语句把非结构化日志变成能查的二维表,还能用 Sqoop 把分析好的结果导出来给业务方用。为了达到这个效果,光看视频是不够的,必须跟着资料包里的项目代码自己动手敲。建议在本地弄一台配置好点的虚拟机,把课程里提到的 WebLogInterceptor 等代码自己跑通。遇到分布式权限报错时,不要直接跳过,课程里专门讲了 Sqoop 的权限问题排查,这正是很多人自己上手做项目时最容易卡住的地方。把视频里的演示当成操作手册,遇到报错就倒回去对照配置文件,这样学下来才算是真正把这套生态圈的经典离线流程走了一遍,而不是停留在听过几个名词的阶段。
课程目录
课程目录37 集
- 1-1 [Flume快速入门] Flume快速入门 (28:03).mp4
- 1-2 [Flume快速入门] flume hdfs (28:53).mp4
- 1-3 [Flume快速入门] flume 2级串连 (17:01).mp4
- 2-1 [基于hbase日志存储项目] WebLogIntecetor类补充 (08:36).mp4
- 2-2 [基于hbase日志存储项目] sqoop 分布式权限问题 (10:39).mp4
- 2-3 [基于hbase日志存储项目] hive 分析flume采集到HDFS数据 (52:11).mp4
- 3-1 [基于hbase日志存储项目和案例] 访问日志分析--离线业务 (49:36).mp4
- 3-2 [基于hbase日志存储项目和案例] 访问日志分析--离线业务2 (13:05).mp4
- 4-1 [Kafka快速入门] kafka解耦和异步和缓冲 (21:20).mp4
- 4-2 [Kafka快速入门] Kafka核心组件 (23:12).mp4
- 4-3 [Kafka快速入门] kafka 分区和leader和ISR (47:26).mp4
- 4-4 [Kafka快速入门] kafak的leader选举和leader和follow (16:49).mp4
- 4-5 [Kafka快速入门] 分区策略 (23:26).mp4
- 4-6 [Kafka快速入门] KafkaOffsetMonitor (04:01).mp4
- 5-1 [ElasticSearch快速入门] kafak 分区策略2 (09:46).mp4
- 5-2 [ElasticSearch快速入门] kafka 分区策略1 (43:51).mp4
- 5-3 [ElasticSearch快速入门] 正向索引,倒排索引 (16:58).mp4
- 5-4 [ElasticSearch快速入门] es的核心概念 (17:46).mp4
- 5-5 [ElasticSearch快速入门] es安装 (24:35).mp4
- 5-6 [ElasticSearch快速入门] es基本命令 (32:34).mp4
- 5-7 [ElasticSearch快速入门] es的head安装 (25:21).mp4
- 5-8 [ElasticSearch快速入门] head应用和kibana的install (21:56).mp4
- 5-9 [ElasticSearch快速入门] es的bulk操作 (27:01).mp4
- 6-1 [ElasticSearch详细介绍] es分布式文档存储 (32:05).mp4
- 6-2 [ElasticSearch详细介绍] 检索文档 (33:16).mp4
- 6-3 [ElasticSearch详细介绍] kibana探索ES集群 (17:36).mp4
- 6-4 [ElasticSearch详细介绍] es的query的string和dsl (35:43).mp4
- 6-5 [ElasticSearch详细介绍] es的过滤查询 (06:58).mp4
- 6-6 [ElasticSearch详细介绍] es的短语搜索和高亮显示 (09:35).mp4
- 6-7 [ElasticSearch详细介绍] es的下钻分析1 (26:17).mp4
- 6-8 [ElasticSearch详细介绍] es的下钻分析2 (23:53).mp4
- 7-1 [ELK技术架构] es状态和索引创建原则和悲观锁乐观锁 (45:43).mp4
- 7-2 [ELK技术架构] es避免深度分页 (09:42).mp4
- 7-3 [ELK技术架构] cs的api的crud操作 (32:16).mp4
- 7-4 [ELK技术架构] es的query的string和dsl和api (25:11).mp4
- 7-5 [ELK技术架构] es的聚合分析的api (29:20).mp4
- 7-6 [ELK技术架构] es的mysql2es和kibanba数据报表 (33:33).mp4





