节奏太乱？先理清架构再动手写代码

这门课不急着让你背 API，而是专门解决“流处理数据怎么从采集端跑起来，再被 Spark 吃掉”的连贯性问题。很多初学者一上来就试图手写复杂逻辑，结果卡在环境配置和版本兼容上。本教程把 Spark Streaming 与 Kafka、Flume 的整合过程拆解得足够慢，让你看清数据从产生、传输到消费的完整流向，避免在无关配置上浪费大量时间。

适合零基础，但请预留调试耐心

课程默认你已安装好基础开发环境，但不需要精通分布式原理。如果你连本地 Spark 怎么启动都费劲，建议先暂停第一章，去官方文档补一下环境搭建步骤。这门课的重头戏在第 10 章，它详细对比了 Receiver 和 Direct 两种消费模式。Receiver 模式配置简单但存在数据丢失风险，Direct 模式数据更可靠但配置繁琐。自学时，建议先跟着做 Receiver 模式跑通通例，理解了“拉取”机制后，再挑战 Direct 模式的“推送”机制，不要一上来就硬啃 Direct 模式，很容易因为网络调试问题产生挫败感。

跟着实验做，资料别乱看

资料包里的视频是按逻辑顺序排列的，但千万别按文件名顺序硬学。第 10 章是核心，先看"Receiver 方式整合之概述”理解原理，再做“本地环境联调”，确认通了再开“服务器环境联调”。第 11 章则是实战演练，通过 Flume 采集日志推送到 Kafka，再由 Spark 消费统计，这是典型的日志分析场景。建议你在本地虚拟机或 Docker 环境里复现这个链路，把视频里演示的配置文件保存下来，慢慢修改参数测试，这比单纯看完视频管用得多。学完这一套，你就能独立搭建一个基于 Kafka 的实时日志监控系统，把服务器日志实时清洗并统计关键词，完全不需要依赖别人的现成系统。

课程目录

第10章 Spark Streaming整合Kafka
10-1 -课程目录.mp4 2.07M
10-10 -Direct方式整合之服务器环境联调.mp4 35.53M
10-2 -Spark Streaming整合Kafka的版本选择详解.mp4 26.10M
10-3 -Receiver方式整合之概述.mp4 58.30M
10-4 -Receiver方式整合之Kafka测试.mp4 44.83M
10-5 -Receiver方式整合之Spark Streaming应用开发.mp4 61.05M
10-6 -Receiver方式整合之本地环境联调.mp4 25.85M
10-7 -Receiver方式整合之服务器环境联调及Streaming UI讲解.mp4 70.12M
10-8 -Direct方式整合之概述.mp4 89.46M
10-9 -Direct方式整合之Spark Streaming应用开发及本地环境测试.mp4 67.51M
第11章 Spark Streaming整合Flume&Kafka打造通用流处理基础
11-1 -课程目录.mp4 3.54M
11-2 -处理流程画图剖析.mp4 9.68M
11-3 -日志产生器开发并结合log4j完成日志的输出.mp4 24.17M
11-4 -使用Flume采集Log4j产生的日志.mp4 96.87M
11-5 -使用KafkaSInk将Flume收集到的数据输出到Kafka.mp4 55.02M
11-6 -Spark Streaming消费Kafka的数据进行统计.mp4 47.00M
11-7 -本地测试和生产环境使用的拓展.mp4 24.04M
第12章 Spark Streaming项目实战
12-1 -课程目录.mp4 5.61M
12-10 -对接实时日志数据到Kafka并输出到控制台测试.mp4 60.74M
12-11 -Spark Streaming对接Kafka的数据进行消费.mp4 56.53M
12-12 -使用Spark Streaming完成数据清洗操作.mp4 127.33M
12-13 -功能一之需求分析及存储结果技术选型分析.mp4 34.40M
12-14 -功能一之数据库访问DAO层方法定义.mp4 24.38M
12-15 -功能一之数据库访问DAO层方法实现.mp4 58.48M
12-16 -功能一之HBase操作工具类开发.mp4 90.32M
12-17 -功能一之将Spark Streaming的处理结果写入到HBase中.mp4 73.70M
12-18 -功能二之需求分析及HBase设计&HBase数据访问层开发.mp4 38.49M
12-19 -功能二之功能实现及本地测试.mp4 60.82M
12-2 -需求说明.mp4 13.31M
12-20 -将项目运行在服务器环境中.mp4 238.29M
12-3 -用户行为日志介绍.mp4 39.16M
12-4 -Python日志产生器开发之产生访问url和ip信息.mp4 47.58M
12-5 -Python日志产生器开发之产生referer和状态码信息.mp4 56.49M
12-6 -Python日志产生器开发之产生日志访问时间.mp4 14.74M
12-7 -Python日志产生器服务器测试并将日志写入到文件中.mp4 34.92M
12-8 -通过定时调度工具每一分钟产生一批数据.mp4 35.95M
12-9 -使用Flume实时收集日志信息.mp4 50.37M
第13章 可视化实战
13-1 -课程目录.mp4 5.13M
13-10 -实战课程访问量Web层开发.mp4 37.87M
13-11 -实战课程访问量实时查询展示功能实现及扩展.mp4 70.81M
13-12 -Spring Boot项目部署到服务器上运行.mp4 23.63M
13-13 -阿里云DataV数据可视化介绍.mp4 96.72M
13-14 -DataV展示统计结果功能实现.mp4 136.24M
13-2 -为什么需要可视化.mp4 23.72M
13-3 -构建Spring Boot项目.mp4 46.82M
13-4 -Echarts概述.mp4 43.35M
13-5 -Spring Boot整合Echarts绘制静态数据柱状图.mp4 50.97M
13-6 -Spring Boot整合Echarts绘制静态数据饼图.mp4 23.46M
13-7 -项目目录调整.mp4 9.08M
13-8 -根据天来获取HBase表中的实战课程访问次数.mp4 62.76M
13-9 -实战课程访问量domain以及dao开发.mp4 33.20M
第14章 Java拓展
14-1 -课程目录.mp4 2.13M
14-2 -使用Java开发Spark应用程序.mp4 59.03M
14-3 -使用Java开发Spark Streaming应用程序.mp4 73.35M
第1章 课程介绍
1-1 -导学-.mp4 18.31M
1-2 -授课习惯和学习建议.mp4 31.60M
1-3 -OOTB环境使用演示.mp4 6.99M
1-4 -Linux环境及软件版本介绍.mp4 29.62M
1-5 -Spark版本升级.mp4 16.74M
第2章 初识实时流处理
2-1 -课程目录.mp4 2.58M
2-2 -业务现状分析.mp4 14.54M
2-3 -实时流处理产生背景.mp4 4.54M
2-4 -实时流处理概述.mp4 3.86M
2-5 -离线计算和实时计算对比.mp4 6.54M
2-6 -实时流处理框架对比.mp4 17.66M
2-7 -实时流处理架构及技术选型.mp4 8.87M
2-8 -实时流处理在企业中的应用.mp4 6.36M
第3章 分布式日志收集框架Flume
3-1 -课程目录.mp4 2.73M
3-2 -业务现状分析.mp4 17.71M
3-3 -Flume概述.mp4 42.77M
3-4 -Flume架构及核心组件.mp4 67.21M
3-5 -Flume&JDK环境部署.mp4 42.52M
3-6 -Flume实战案例一.mp4 86.35M
3-7 -Flume实战案例二.mp4 45.03M
3-8 -Flume实战案例三(重点掌握).mp4 86.89M
第4章 分布式发布订阅消息系统Kafka
4-1 -课程目录.mp4 2.45M
4-10 -Kafka Consumer Java API编程.mp4 79.61M
4-11 -Kafka实战之整合Flume和Kafka完成实时数据采集.mp4 84.75M
4-2 -Kafka概述.mp4 27.31M
4-3 -Kafka架构及核心概念.mp4 15.09M
4-4 -Kafka单节点单Broker部署之Zookeeper安装.mp4 22.17M
4-5 -Kafka单节点单broker的部署及使用.mp4 90.94M
4-6 -Kafka单节点多broker部署及使用.mp4 62.61M
4-7 -Kafka容错性测试.mp4 28.23M
4-8 -使用IDEA+Maven构建开发环境.mp4 23.94M
4-9 -Kafka Producer Java API编程.mp4 83.17M
第5章 实战环境搭建
5-1 -课程目录.mp4 1.80M
5-2 -Scala安装.mp4 12.98M
5-3 -Maven安装.mp4 25.20M
5-4 -Hadoop环境搭建.mp4 63.77M
5-5 -HBase安装.mp4 65.60M
5-6 -Spark环境搭建.mp4 29.32M
5-7 -开发环境搭建.mp4 58.07M
第6章 Spark Streaming入门
6-1 -课程目录.mp4 1.96M
6-2 -Spark Streaming概述.mp4 35.11M
6-3 -Spark Streaming应用场景.mp4 4.21M
6-4 -Spark Streaming集成Spark生态系统的使用.mp4 4.92M
6-5 -Spark Streaming发展史.mp4 4.02M
6-6 -从词频统计功能着手入门Spark Streaming.mp4 71.79M
6-7 -Spark Streaming工作原理(粗粒度).mp4 7.61M
6-8 -Spark Streaming工作原理(细粒度).mp4 16.08M
第7章 Spark Streaming核心概念与编程
7-1 -课程目录.mp4 2.21M
7-2 -核心概念之StreamingContext.mp4 78.73M
7-3 -核心概念之DStream.mp4 25.29M
7-4 -核心概念之Input DStreams和Receivers.mp4 45.61M
7-5 -核心概念之Transformation和Output Operations.mp4 31.08M
7-6 -案例实战之Spark Streaming处理socket数据.mp4 122.46M
7-7 -案例实战之Spark Streaming处理文件系统数据.mp4 48.02M
第8章 Spark Streaming进阶与案例实战
8-1 -课程目录.mp4 3.28M
8-2 -实战之updateStateByKey算子的使用.mp4 18.82M
8-3 -实战之将统计结果写入到MySQL数据库中.mp4 118.69M
8-4 -实战之窗口函数的使用.mp4 24.27M
8-5 -实战之黑名单过滤.mp4 38.93M
8-6 -实战之Spark Streaming整合Spark SQL操作.mp4 58.52M
第9章 Spark Streaming整合Flume
9-1 -课程目录.mp4 1.35M
9-10 -Pull方式整合之本地环境联调.mp4 36.33M
9-11 -Pull方式整合之服务器环境联调.mp4 44.65M
9-2 -Push方式整合之概述.mp4 42.54M
9-3 -Push方式整合之Flume Agent配置开发.mp4 13.51M
9-4 -Push方式整合之Spark Streaming应用开发.mp4 32.19M
9-5 -Push方式整合之本地环境联调.mp4 48.02M
9-6 -Push方式整合之服务器环境联调.mp4 44.81M
9-7 -Pull方式整合之概述.mp4 25.20M
9-8 -Pull方式整合之Flume Agent配置开发.mp4 12.11M
9-9 -Pull方式整合之Spark Streaming应用开发.mp4 25.56M
Linux.rar 8.80G
project.zip 270.85kb
mksz153-Spark Streaming实时流处理项目实战/
10-10 -Direct方式整合