飞豹客 · 课能看,资料也能带走
飞豹客体系课

5期大数据实战班之Flume教程

这门课解决什么问题 在数据工程的实际业务里,企业每天都会产生大量碎片化日志,比如服务器的访问记录、用户点击行为埋点等。这门聚焦Flume的教程解决的核心场景,就是教你如何把这些分散在各台机器上的原始日志,稳定且自动地抽取、聚合,并传输到下游的存储或计算系统里。很多刚接触大数据的上班族容易把数据采集和

单课价¥39.00新品 上架
会员价¥7.80开通会员,全站课程按会员价下载套餐详情
0 人关注 更新于 2026-10-21 永久有效
发货

网盘链接 · 支付成功后自动发货

保障

永久有效 · 链接失效免费补发

客服

每日 9:00-21:00 在线客服 联系客服

购买本课销量 0 · 永久有效
会员价 · 单课标价 ¥39.00

会员 · 按档位

永久¥19.505折
年¥23.406折
月¥27.307折

游客按标价购买,不享受上表折扣。

支付成功后自动发放网盘链接,链接失效可找客服免费补

正版保障 极速发货 售后无忧

这门课解决什么问题

在数据工程的实际业务里,企业每天都会产生大量碎片化日志,比如服务器的访问记录、用户点击行为埋点等。这门聚焦Flume的教程解决的核心场景,就是教你如何把这些分散在各台机器上的原始日志,稳定且自动地抽取、聚合,并传输到下游的存储或计算系统里。很多刚接触大数据的上班族容易把数据采集和数据处理混为一谈,其实Flume本身不做复杂的数据清洗和计算,它只专职干一件事:做数据搬运管道。如果你在公司里遇到过需要把多台业务机器上的日志实时汇总到一处的情况,或者正想搞清楚大数据链条最前端的数据是怎么进来的,这门课就是针对这个环节的实操拆解。

适合什么基础与建议先看的模块

这门资料不适合完全零基础的人。它默认你已经掌握基本的Linux命令行操作,懂得在Centos环境下执行常规指令,并且对大数据体系的整体框架有一点概念。如果你连基础的文件系统操作和软件安装都不熟,建议先补一下Linux基础再来看。对于符合基础门槛的读者,建议拿到资料后不要按顺序泛泛去看,而是优先看三个部分:首先是开篇的架构与组件介绍,弄懂Source、Channel、Sink这三个核心概念是怎么串联的,这是理解后续所有配置的前提;其次是安装与体验环节,跟着视频在本地环境把服务跑通,用最基础的命令行方式收集数据并输出到控制台,先建立直观体感;最后重点研究Spooldir对目录监控的批量收集,以及Exec对目录实时收集这两个场景。这两个场景对应了实际工作中最常见的离线日志归档和实时流采集两种模式,把它们吃透,Flume的核心用法就掌握了大部分。

学完能独立做什么与资料配合练习方法

看完这套教程并跟着实操后,你应该能独立完成一整套日志采集链路的搭建。具体来说,当业务方给你一堆不断追加写入的日志文件时,你能自己写出Flume的配置文件,选定合适的Source类型去读取数据,配置好Channel做内存或磁盘缓冲,最后把数据对接到指定的Sink输出端。在配合资料练习时,不要只用眼睛看视频,必须开着虚拟机同步操作。每看完一个组件的演示,就暂停视频,自己修改配置文件里的参数,然后重启服务观察数据流的变化。比如改一下采集目录的路径,或者换一种输出方式,看看数据到底有没有按预期流转。遇到环境报错,比如缺少nc命令程序,就照着资料里的挂载和安装思路自己解决。只有亲手把配置改错再调试通过,这套数据采集工具才算真正变成你自己的技术栈,而不是停留在看过一遍的印象里。

课程目录

课程目录42 集
  • 1-1 [Flume第1天] 01.flume介绍-架构-组件-source-channe (27:09).mp4
  • 1-2 [Flume第1天] 02.flume安装 (06:39).mp4
  • 1-3 [Flume第1天] 03.flume体验nc方式收集数据-console输出 (14:46).mp4
  • 1-4 [Flume第1天] 04.centos挂载iso文件-安装nc命令程序 (06:25).mp4
  • 1-5 [Flume第1天] 05.flume spooldir对目录监控实现日志批量收集 (13:18).mp4
  • 1-6 [Flume第1天] 06.flume exec对目录实时收集 (06:07).mp4
  • 1-7 [Flume第1天] 07.flume 使用avro source和avro cl (13:51).mp4
  • 1-8 [Flume第1天] 08.flume seq序列生成器源用于测试 (04:08).mp4
  • 1-9 [Flume第1天] 09.flume stress压力源用于压测 (06:08).mp4
  • 1-10 [Flume第1天] 10.hdfs sink (21:00).mp4
  • 1-11 [Flume第1天] 11.avro sink和avro source实现hop处 (15:33).mp4
  • 1-12 [Flume第1天] 12.配置hbase sink写入输入hbase数据库 (06:45).mp4
  • 1-13 [Flume第1天] 13.配置hbase asyncsink写入输入hbase数 (09:13).mp4
  • 1-14 [Flume第1天] 14.memory内存通道-capacity-txCapac (09:13).mp4
  • 1-15 [Flume第1天] 15.filechannel (17:48).mp4
  • 1-16 [Flume第1天] 16.SpillableMemoryChannel (07:41).mp4
  • 1-17 [Flume第1天] 17.启动flume agent的监控属性-通过gangli (12:28).mp4
  • 1-18 [Flume第1天] 18.ganglia实现监控flume agent使用组播的 (05:04).mp4
  • 1-19 [Flume第1天] 19.flume source selector副本策略 (10:59).mp4
  • 1-20 [Flume第1天] 20.flume多路复用(动态路由) (01:56).mp4
  • 1-21 [Flume第1天] 21.sink容灾处理器 (12:46).mp4
  • 2-1 [Flume第2天] 01.flume sink processor的loadba (25:21).mp4
  • 2-2 [Flume第2天] 02.flume sink processor的failov (08:14).mp4
  • 2-3 [Flume第2天] 03.flume source的interceptor实现时 (10:25).mp4
  • 2-4 [Flume第2天] 04.flume架构-核心类查看 (17:19).mp4
  • 2-5 [Flume第2天] 05.kafka介绍-jms (15:44).mp4
  • 2-6 [Flume第2天] 06.kafka安装 (08:35).mp4
  • 2-7 [Flume第2天] 07.kafka配置 (05:39).mp4
  • 2-8 [Flume第2天] 08.启动kafka集群-后台启动 (09:07).mp4
  • 2-9 [Flume第2天] 09.创建kakfa主题-删除主题 (10:40).mp4
  • 2-10 [Flume第2天] 10.启动控制台生产者和消费者-发送消息-消费消息-zk注册 (07:50).mp4
  • 2-11 [Flume第2天] 11.kafka架构介绍-设计基础 (40:02).mp4
  • 2-12 [Flume第2天] 12.消息生成者发送消息 (13:30).mp4
  • 2-13 [Flume第2天] 13.消息消费者 (12:43).mp4
  • 2-14 [Flume第2天] 14.消费者指定每个主题启动线程数 (05:57).mp4
  • 2-15 [Flume第2天] 15.验证每个组中有一个消费者消费消息 (06:10).mp4
  • 2-16 [Flume第2天] 16.kafka分区和副本数以及本次磁盘目录对应关系 (23:51).mp4
  • 2-17 [Flume第2天] 17.kafka偏移量的考察 (29:59).mp4
  • 2-18 [Flume第2天] 18.编程方式指定kafka偏移量auto-offset-r (07:09).mp4
  • 2-19 [Flume第2天] 19.flume和kafka集成-kafkaSource (16:23).mp4
  • 2-20 [Flume第2天] 20.flume和kafka集成-kafkaSink (05:15).mp4
  • 2-21 [Flume第2天] 21.flume和kafka集成-kafkaChannel (08:08).mp4