飞豹客 · 教程详情

- Spark3大数据实时处理-Streaming+Structured Streaming 实战

会员可免费下载本篇

月会员、年会员、永久会员可按日额度下载（每篇扣 1 次）。

开通会员 · 按档位下载 →

mksz459 - Spark3大数据实时处理-Streaming+Structured Streaming 实战

体系课

0 人浏览发布 2026-10-17更新 2026-10-17

这门课到底解决什么痛点

很多开发者在学习 Spark 时，往往卡在「离线批处理」和「实时流处理」的断层上。传统 MapReduce 或 Spark SQL 擅长处理历史数据，但面对日志监控、实时风控、即时推荐这类需要秒级响应的场景时，显得力不从心。本课程聚焦于 Spark 3.x 版本中的两大核心流处理引擎： legacy Streaming（DStream）和 Structured Streaming（结构化流）。

它解决的核心问题是：如何在大规模分布式集群上，用统一的 API 模型处理无界数据流。你将不再需要同时维护 Kafka 消费者和独立的流计算框架，而是利用 Spark 的生态优势，实现从数据接入、窗口计算到结果输出的端到端实时处理链路。对于负责大数据平台搭建或实时数仓建设的工程师来说，这是补齐「实时能力」的关键一环。

适合什么基础，建议先看哪几块

本课程并非面向零基础小白。你需要具备以下条件，否则学习曲线会非常陡峭：

Java/Scala 基础扎实：Spark 的核心开发语言，必须熟悉函数式编程思想，尤其是 Lambda 表达式和集合操作。
Spark 离线开发经验：理解 RDD、DataFrame/Dataset 的基本概念，熟悉 Spark SQL 的写法。如果完全没接触过 Spark 批处理，建议先补充 Spark Core 和 Spark SQL 的基础知识。
Linux 与 Hadoop 生态常识：了解 HDFS 存储原理、YARN 资源调度，以及如何在 Linux 环境下提交 Spark 作业。

学习路径建议：

先攻克 DStream 基础：虽然官方逐渐推崇 Structured Streaming，但 DStream 是理解流处理背后可逆操作（如 Checkpoint、Watermark）的基础。重点掌握滑动窗口、减少数操作、关联操作等核心算子。
重点突破 Structured Streaming：这是当前的主流。深入理解「持续处理模式」与「批处理模式」的区别，掌握事件时间、处理时间、Watermark 机制以及如何解决数据倾斜和延迟问题。
实战整合 Kafka：流处理离不开消息队列。务必完成从 Kafka 读取数据、经过 Spark 清洗计算、最终写入 Kafka 或 MySQL/Elasticsearch 的全流程实战。

学完能独立做什么，资料如何配合

完成课程后，你应该能够独立设计并部署一个简单的实时数据管道。具体能力包括：

能编写 Spark Streaming 程序，处理来自日志服务器或业务数据库的实时增量数据。
能利用 Structured Streaming 实现精确一次（Exactly-Once）语义的数据处理，确保在故障恢复后数据不丢失、不重复。
能根据业务需求设置合理的窗口大小和 Watermark，处理乱序数据和迟到数据。

资料配合练习建议：不要只看视频。课程配套的资料中通常包含完整的工程源码和测试数据。建议先运行一遍 Demo，理解代码结构；然后尝试修改数据源（例如换成本地模拟数据），观察输出变化；最后尝试复现一个真实的业务场景，比如「实时统计过去 5 分钟内某接口的错误率」。只有亲手调通 Job，理解报错信息，才能真正掌握流处理的调试技巧。

mksz459 - Spark3大数据实时处理-Streaming+Structured Streaming 实战

本课程隶属会员库 · MK实战课（一部分是老课） / 课程盒子4-mksz400至499，完整课程目录与配套资料如下。

课程目录

第10章 【数据可视化】使用Echarts完成数据展示/
10-1 课程目录__免费IT课程加微信微信-rmshou-收集整理[2].mp4
10-10 Spring Data整合HBase查询功能开发及测试__免费IT课程加微信微信-rmshou-收集整理[2].mp4
10-11 Spring Data整合Redis查询功能开发及测试__免费IT课程加微信微信-rmshou-收集整理[2].mp4
10-12 可视化项目部署__免费IT课程加微信微信-rmshou-收集整理[2].mp4
10-13 前后端服务部署及效果演示__免费IT课程加微信微信-rmshou-收集整理[2].mp4
10-14 前后端交互流程分析__免费IT课程加微信微信-rmshou-收集整理[2].mp4
10-2 Spring Data概述__免费IT课程加微信微信-rmshou-收集整理[2].mp4
10-3 Spring Data整合MySQL开发环境准备及实体类开发__免费IT课程加微信微信-rmshou-收集整理[2].mp4
10-4 Spring Data存取MySQL功能开发及测试__免费IT课程加微信微信-rmshou-收集整理[2].mp4
10-5 Controller层开发及测试__免费IT课程加微信微信-rmshou-收集整理[2].mp4
10-6 常用可视化框架介绍__免费IT课程加微信微信-rmshou-收集整理[2].mp4
10-7 Echarts图形形成方式__免费IT课程加微信微信-rmshou-收集整理[2].mp4
10-8 Spring Boot整合Echarts快速开发一个可视化展示功能__免费IT课程加微信微信-rmshou-收集整理[2].mp4
10-9 Spring Data整合HBase开发环境搭建__免费IT课程加微信微信-rmshou-收集整理[2].mp4
第11章 【拓展&经验分享】核心梳理及面试指导/
11-1 课程目录__免费IT课程加微信微信-rmshou-收集整理[2].mp4
11-2 HR面试常考点一__免费IT课程加微信微信-rmshou-收集整理[2].mp4
11-3 HR面试常考点二__免费IT课程加微信微信-rmshou-收集整理[2].mp4
11-4 HR面试常考题三__免费IT课程加微信微信-rmshou-收集整理[2].mp4
11-5 HR面试常考点作业__免费IT课程加微信微信-rmshou-收集整理[2].mp4
11-6 简历编写及面试准备__免费IT课程加微信微信-rmshou-收集整理[2].mp4
11-7 Spark&NoSQL实时数据处理实践案例分享__免费IT课程加微信微信-rmshou-收集整理[2].mp4
11-8 总结.zip
第1章 【项目启动】项目背景及架构分析/
1-1 课程概览__免费IT课程加微信微信-rmshou-收集整理[2].mp4
1-3 课程目录__免费IT课程加微信微信-rmshou-收集整理[2].mp4
1-4 项目目的__免费IT课程加微信微信-rmshou-收集整理[2].mp4
1-5 项目流程__免费IT课程加微信微信-rmshou-收集整理[2].mp4
1-6 技术选型__免费IT课程加微信微信-rmshou-收集整理[2].mp4
1-7 项目总体架构__免费IT课程加微信微信-rmshou-收集整理[2].mp4
1-8 项目架构V1版本__免费IT课程加微信微信-rmshou-收集整理[2].mp4
1-9 项目架构V2版本__免费IT课程加微信微信-rmshou-收集整理[2].mp4
本章精华部分.mp4
第2章 【环境部署】基础开发环境搭建/
2-1 课程目录__免费IT课程加微信微信-rmshou-收集整理[2].mp4
2-2 OOTB环境的使用介绍__免费IT课程加微信微信-rmshou-收集整理[2].mp4
2-3 JDK部署__免费IT课程加微信微信-rmshou-收集整理[2].mp4
2-4 Scala部署__免费IT课程加微信微信-rmshou-收集整理[2].mp4
2-5 Maven部署(一定要仔细听)__免费IT课程加微信微信-rmshou-收集整理[2].mp4
2-6 Hadoop配置__免费IT课程加微信微信-rmshou-收集整理[2].mp4
2-7 Hadoop格式化&启停__免费IT课程加微信微信-rmshou-收集整理[2].mp4
2-8 ZK部署__免费IT课程加微信微信-rmshou-收集整理[2].mp4
第3章 【数据采集】构建日志服务器/
3-1 课程目录__免费IT课程加微信微信-rmshou-收集整理[2].mp4
3-10 客户端与日志服务器联调测试__免费IT课程加微信微信-rmshou-收集整理[2].mp4
3-11 客户端日志上报到日志服务器并落盘__免费IT课程加微信微信-rmshou-收集整理[2].mp4
3-12 日志服务部署到服务器上运行并联调__免费IT课程加微信微信-rmshou-收集整理[2].mp4
3-13 对接项目数据到日志服务器__免费IT课程加微信微信-rmshou-收集整理[2].mp4
3-14 作业__免费IT课程加微信微信-rmshou-收集整理[2].mp4
3-2 数据产生和上报流程__免费IT课程加微信微信-rmshou-收集整理[2].mp4
3-3 构建多Module工程__免费IT课程加微信微信-rmshou-收集整理[2].mp4
3-4 快速构建第一个Spring Boot应用程序__免费IT课程加微信微信-rmshou-收集整理[2].mp4
3-5 SpringBoot热部署__免费IT课程加微信微信-rmshou-收集整理[2].mp4
3-6 关于Annotation的补充__免费IT课程加微信微信-rmshou-收集整理[2].mp4
3-7 yml配置文件的使用__免费IT课程加微信微信-rmshou-收集整理[2].mp4
3-8 开发日志服务Controller__免费IT课程加微信微信-rmshou-收集整理[2].mp4
3-9 客户端上报日志功能开发__免费IT课程加微信微信-rmshou-收集整理[2].mp4
第4章 【数据收集】基于Flume构建分布式日志收集/
4-1 课程目录__免费IT课程加微信微信-rmshou-收集整理[2].mp4
4-10 Event__免费IT课程加微信微信-rmshou-收集整理[2].mp4
4-11 Flume经典部署方案__免费IT课程加微信微信-rmshou-收集整理[2].mp4
4-12 Flume收集文件数据到HDFS需求分析__免费IT课程加微信微信-rmshou-收集整理[2].mp4
4-13 Flume收集文件数据到HDFS实现__免费IT课程加微信微信-rmshou-收集整理[2].mp4
4-14 Flume收集文件夹数据到HDFS__免费IT课程加微信微信-rmshou-收集整理[2].mp4
4-15 TailDirSource实战(非常重要)__免费IT课程加微信微信-rmshou-收集整理[2].mp4
4-16 Flume拦截器二次开发需求分析__免费IT课程加微信微信-rmshou-收集整理[2].mp4
4-17 Flume自定义拦截器开发(非常重要)__免费IT课程加微信微信-rmshou-收集整理[2].mp4
4-18 Flume自定义拦截器Agent配置(非常重要)__免费IT课程加微信微信-rmshou-收集整理[2].mp4
4-19 Flume自定义拦截器功能测试__免费IT课程加微信微信-rmshou-收集整理[2].mp4
4-2 产生背景__免费IT课程加微信微信-rmshou-收集整理[2].mp4
4-20 使用Flume收集日志服务器落地的日志数据__免费IT课程加微信微信-rmshou-收集整理[2].mp4
4-21 面试题谈谈你对Flume高可用的看法(重要)__免费IT课程加微信微信-rmshou-收集整理[2].mp4
4-22 本章作业__免费IT课程加微信微信-rmshou-收集整理[2].mp4
4-3 采集和收集的区别__免费IT课程加微信微信-rmshou-收集整理[2].mp4
4-4 Flume概述__免费IT课程加微信微信-rmshou-收集整理[2].mp4
4-5 Flume版本迭代__免费IT课程加微信微信-rmshou-收集整理[2].mp4
4-6 Flume体系架构与三大核心组件__免费IT课程加微信微信-rmshou-收集整理[2].mp4
4-7 业界数据收集框架对比__免费IT课程加微信微信-rmshou-收集整理[2].mp4
4-8 Flume部署__免费IT课程加微信微信-rmshou-收集整理[2].mp4
4-9 Flume Agent编程案例__免费IT课程加微信微信-rmshou-收集整理[2].mp4
第5章 【消息队列】基于Kafka构建实时数据交换/
5-1 课程目录__免费IT课程加微信微信-rmshou-收集整理[2].mp4
5-10 对接项目数据到Kafka__免费IT课程加微信微信-rmshou-收集整理[2].mp4
5-11 Kafka数据存储(非常重要)__免费IT课程加微信微信-rmshou-收集整理[2].mp4
5-12 面试题谈谈你对acks的看法(非常重要)__免费IT课程加微信微信-rmshou-收集整理[2].mp4
5-2 Kafka概述__免费IT课程加微信微信-rmshou-收集整理[2].mp4
5-3 Kafka核心术语(重要)__免费IT课程加微信微信-rmshou-收集整理[2].mp4
5-4 Kafka单Broker部署及使用__免费IT课程加微信微信-rmshou-收集整理[2].mp4
5-5 Kafka多Broker部署及使用__免费IT课程加微信微信-rmshou-收集整理[2].mp4
5-6 容错性测试__免费IT课程加微信微信-rmshou-收集整理[2].mp4
5-7 Kafka Producer API编程__免费IT课程加微信微信-rmshou-收集整理[2].mp4
5-8 Kafka Consumer API编程(重要)__免费IT课程加微信微信-rmshou-收集整理[2].mp4
5-9 Kafka对接Flume收集的数据__免费IT课程加微信微信-rmshou-收集整理[2].mp4
第6章 【实时流处理】Spark Streaming核心API及编程初探/
6-1 课程目录__免费IT课程加微信微信-rmshou-收集整理[2].mp4
6-10 核心概念Input DStream和Receiver__免费IT课程加微信微信-rmshou-收集整理[2].mp4
6-11 实战之读取文件系统的数据__免费IT课程加微信微信-rmshou-收集整理[2].mp4
6-12 常用Transformation操作__免费IT课程加微信微信-rmshou-收集整理[2].mp4
6-13 实战之日志数据过滤RDD方式实现__免费IT课程加微信微信-rmshou-收集整理[2].mp4
6-14 实战之日志数据过滤transform方式实现__免费IT课程加微信微信-rmshou-收集整理[2].mp4
6-15 实战之带状态的应用程序开发__免费IT课程加微信微信-rmshou-收集整理[2].mp4
6-16 常用Output操作__免费IT课程加微信微信-rmshou-收集整理[2].mp4
6-17 实战之统计结果写入数据库(非常重要)__免费IT课程加微信微信-rmshou-收集整理[2].mp4
6-18 快速了解Spark SQL进行数据分析__免费IT课程加微信微信-rmshou-收集整理[2].mp4
6-19 实战之SparkStreaming和Spark SQL的整合使用__免费IT课程加微信微信-rmshou-收集整理[2].mp4
6-2 Spark Streaming概述__免费IT课程加微信微信-rmshou-收集整理[2].mp4
6-20 面试题之谈谈你对消费语义的认识__免费IT课程加微信微信-rmshou-收集整理[2].mp4
6-3 Spark Streaming宏观角度了解__免费IT课程加微信微信-rmshou-收集整理[2].mp4
6-4 基于IDEA+Maven构建第一个流处理应用程序__免费IT课程加微信微信-rmshou-收集整理[2].mp4
6-5 本地功能测试__免费IT课程加微信微信-rmshou-收集整理[2].mp4
6-6 官网案例解读__免费IT课程加微信微信-rmshou-收集整理[2].mp4
6-7 Spark部署及服务器端测试__免费IT课程加微信微信-rmshou-收集整理[2].mp4
6-8 StreamingContext编程注意事项__免费IT课程加微信微信-rmshou-收集整理[2].mp4
6-9 核心概念DStream__免费IT课程加微信微信-rmshou-收集整理[2].mp4
第7章 【实时流处理】应用Spark Streaming实现数据分析及调优/
7-10 自定义维护Offset读取实现__免费IT课程加微信微信-rmshou-收集整理[2].mp4
7-11 Offset管理封装及作业__免费IT课程加微信微信-rmshou-收集整理[2].mp4
7-12 数据流打通及日志字段描述__免费IT课程加微信微信-rmshou-收集整理[2].mp4
7-13 数据清洗功能__免费IT课程加微信微信-rmshou-收集整理[2].mp4
7-14 功能三需求分析__免费IT课程加微信微信-rmshou-收集整理[2].mp4
7-15 HBase初探__免费IT课程加微信微信-rmshou-收集整理[2].mp4
7-16 HBase部署__免费IT课程加微信微信-rmshou-收集整理[2].mp4
7-17 HBase核心API编程__免费IT课程加微信微信-rmshou-收集整理[2].mp4
7-18 需求三功能实现__免费IT课程加微信微信-rmshou-收集整理[2].mp4
7-19 功能四功能实现__免费IT课程加微信微信-rmshou-收集整理[2].mp4
7-2 项目需求介绍__免费IT课程加微信微信-rmshou-收集整理[2].mp4
7-20 功能扩展及实现思路__免费IT课程加微信微信-rmshou-收集整理[2].mp4
7-21 Spark调优之序列化__免费IT课程加微信微信-rmshou-收集整理[2].mp4
7-22 调优之序列化在SS中的使用场景__免费IT课程加微信微信-rmshou-收集整理[2].mp4
7-23 调优之设置合理的Batch Interval__免费IT课程加微信微信-rmshou-收集整理[2].mp4
7-24 调优之限速__免费IT课程加微信微信-rmshou-收集整理[2].mp4
7-25 集群规模评估__免费IT课程加微信微信-rmshou-收集整理[2].mp4
7-26 集群部署进程分布规划__免费IT课程加微信微信-rmshou-收集整理[2].mp4
7-27 HBase逻辑模型__免费IT课程加微信微信-rmshou-收集整理[2].mp4
7-28 HBase物理存储模型__免费IT课程加微信微信-rmshou-收集整理[2].mp4
7-29 HBase架构宏观角度分析__免费IT课程加微信微信-rmshou-收集整理[2].mp4
7-3 论Offset对整个实时作业处理结果的影响__免费IT课程加微信微信-rmshou-收集整理[2].mp4
7-30 HBase架构组件职责__免费IT课程加微信微信-rmshou-收集整理[2].mp4
7-31 面试题之HBase寻址机制(重要)__免费IT课程加微信微信-rmshou-收集整理[2].mp4
7-32 面试题之HBase写数据流程(重要)__免费IT课程加微信微信-rmshou-收集整理[2].mp4
7-33 面试题之HBase读数据流程__免费IT课程加微信微信-rmshou-收集整理[2].mp4
7-34 项目打包并运行在YARN上__免费IT课程加微信微信-rmshou-收集整理[2].mp4
7-36 本章总结及作业__免费IT课程加微信微信-rmshou-收集整理[2].mp4
7-4 图解SparkStreaming整合Kafka offset的管理机制__免费IT课程加微信微信-rmshou-收集整理[2].mp4
7-5 使用checkpoint维护offset__免费IT课程加微信微信-rmshou-收集整理[2].mp4
7-6 自定义维护offset的表结构设计__免费IT课程加微信微信-rmshou-收集整理[2].mp4
7-7 使用ScalikeJDBC对MySQL进行读写操作__免费IT课程加微信微信-rmshou-收集整理[2].mp4
7-7-1 课程目录__免费IT课程加微信微信-rmshou-收集整理[2].mp4
7-8 Offset的获取及存储注意事项__免费IT课程加微信微信-rmshou-收集整理[2].mp4
7-9 自定义维护Offset存储实现__免费IT课程加微信微信-rmshou-收集整理[2].mp4
第8章 【实时流处理】Structured Streaming企业级应用/
8-1 课程目录__免费IT课程加微信微信-rmshou-收集整理[2].mp4
8-10 对接Kafka数据源数据__免费IT课程加微信微信-rmshou-收集整理[2].mp4
8-11 基于EventTime的窗口统计原理详解__免费IT课程加微信微信-rmshou-收集整理[2].mp4
8-12 基于EventTime的窗口统计功能实现__免费IT课程加微信微信-rmshou-收集整理[2].mp4
8-13 延迟数据处理及Watermark__免费IT课程加微信微信-rmshou-收集整理[2].mp4
8-14 File Sink__免费IT课程加微信微信-rmshou-收集整理[2].mp4
8-15 Kafka Sink__免费IT课程加微信微信-rmshou-收集整理[2].mp4
8-16 ForeachSink到MySQL__免费IT课程加微信微信-rmshou-收集整理[2].mp4
8-17 容错语义__免费IT课程加微信微信-rmshou-收集整理[2].mp4
8-2 SparkStreaming的不足__免费IT课程加微信微信-rmshou-收集整理[2].mp4
8-3 Structured Streaming概述__免费IT课程加微信微信-rmshou-收集整理[2].mp4
8-4 快速开发第一个Structured Streaming应用程序__免费IT课程加微信微信-rmshou-收集整理[2].mp4
8-5 Structured Streaming编程模型__免费IT课程加微信微信-rmshou-收集整理[2].mp4
8-6 处理EventTime和延迟数据__免费IT课程加微信微信-rmshou-收集整理[2].mp4
8-7 使用SQL完成统计分析__免费IT课程加微信微信-rmshou-收集整理[2].mp4
8-8 对接csv数据源数据__免费IT课程加微信微信-rmshou-收集整理[2].mp4
8-9 对接分区数据源数据__免费IT课程加微信微信-rmshou-收集整理[2].mp4
第9章 【实时流处理】应用Structured Streaming实现数据分析及调优/
9-1 课程目录__免费IT课程加微信微信-rmshou-收集整理[2].mp4
9-2 项目需求__免费IT课程加微信微信-rmshou-收集整理[2].mp4
9-3 数据清洗__免费IT课程加微信微信-rmshou-收集整理[2].mp4
9-4 Redis概述及部署__免费IT课程加微信微信-rmshou-收集整理[2].mp4
9-5 Redis命令行操作快速入门__免费IT课程加微信微信-rmshou-收集整理[2].mp4
9-6 通过Jedis API操作Redis__免费IT课程加微信微信-rmshou-收集整理[2].mp4
9-7 将统计结果输出到Redis__免费IT课程加微信微信-rmshou-收集整理[2].mp4
9-8 打包到服务器运行__免费IT课程加微信微信-rmshou-收集整理[2].mp4
9-9 调优及作业__免费IT课程加微信微信-rmshou-收集整理[2].mp4
资料/
同类型课程.jpg
核对章节.txt

会员可免费下载本篇

查看价格与购买