飞豹客 · 课能看,资料也能带走
飞豹客体系课

【大数据 Spark 2.x 流数据 多案例】Spark Streaming流数据处理基础与提升

流数据到底解决什么工作场景 这份资料讲的是 Spark 2.x 时代的流数据处理,也就是 Spark Streaming。很多做后端或数据开发的人平时习惯了跑批处理任务,比如半夜用定时任务统计昨天的订单量,但如果业务方要求每五分钟看一次实时成交数据,或者风控系统需要在几秒内消费日志并判断异常访问,跑

单课价¥39.00新品 上架
会员价¥7.80开通会员,全站课程按会员价下载套餐详情
0 人关注 更新于 2026-10-21 永久有效
发货

网盘链接 · 支付成功后自动发货

保障

永久有效 · 链接失效免费补发

客服

每日 9:00-21:00 在线客服 联系客服

购买本课销量 0 · 永久有效
会员价 · 单课标价 ¥39.00

会员 · 按档位

永久¥19.505折
年¥23.406折
月¥27.307折

游客按标价购买,不享受上表折扣。

支付成功后自动发放网盘链接,链接失效可找客服免费补

正版保障 极速发货 售后无忧

流数据到底解决什么工作场景

这份资料讲的是 Spark 2.x 时代的流数据处理,也就是 Spark Streaming。很多做后端或数据开发的人平时习惯了跑批处理任务,比如半夜用定时任务统计昨天的订单量,但如果业务方要求每五分钟看一次实时成交数据,或者风控系统需要在几秒内消费日志并判断异常访问,跑批就不够用了,必须靠流处理把源源不断的数据当成一条连续的河流来计算。这门课解决的就是这类场景:怎么用 Spark 接入实时数据源、怎么消费消息队列里的数据、怎么把接收到的流按时间切片做聚合。它不负责教你离线数仓那一套,而是帮你补上实时计算这块拼图,让你在面对实时大屏、实时报警、实时日志清洗这类需求时,知道代码该怎么写。

适合什么基础,建议先看哪几块

这套资料不适合完全没写过代码的人。它默认你已经熟悉 Scala 或 Python 的基本语法,并且能独立用 Spark Core 跑通离线的 WordCount,知道 RDD 是怎么回事。如果你的 Spark 基础比较薄,建议先去补离线部分,否则直接看流处理会觉得抽象。资料前两块讲的是框架原理和编写程序的注意事项,这部分比较干,建议不要跳过,因为它直接决定了你后面写出来的程序会不会丢数据。看完原理后,直接跳到 Kafka 相关的实战部分,包括集群安装、生产者消费者以及 Spark Streaming 消费 Kafka 数据。现实中大部分公司的流处理都是这个链路,先把这条主干跑通,再回头看监控 HDFS 目录和 Socket 数据消费的演示,你会更清楚不同数据源的接入差异。

学完能独立做什么,资料怎么配合练习

把主干内容吃透后,你应该能独立完成一个基础的实时数据管道:自己搭一套 Kafka 集群,写一个生产者程序往里灌日志,再用 Spark Streaming 把日志读出来做简单的词频统计或按时间窗口的聚合,最后把结果打印或落盘。这听起来不复杂,但能独立搭通这套链路,基本就具备了做实时数仓第一层接入的能力。在看资料时,不要只盯着视频看,一定要自己开虚拟机跟着敲。Kafka 集群安装那几节,建议你准备两台虚拟机或者用单机伪分布式跑一遍,手动把 broker 启动起来,用命令行工具去生产和消费消息,确认通了之后,再把 Spark 程序接进去。很多初学者在学流处理时卡住,不是因为算子不会用,而是卡在环境配置和消息队列的连调上。所以这份资料的正确用法是:把 Kafka 那几节当成环境搭建手册,跟着踩一遍坑,再拿后面的消费代码做模板,自己改一改数据源和计算逻辑,跑通一个属于自己的实时统计小任务,这样才算真正消化了。

课程目录

课程目录23 集
  • 1 spark流式处理框架介绍及对比-1 (15:00).mp4
  • 2 Spark流式处理设计原理及编写streaming程序的三大注意事项-2 (15:40).mp4
  • 3 【实战】Spark监控HDFS目录的两种常见应用场景及实战-3 (23:15).mp4
  • 4 【实战】SparkStreaming对Socket数据进行两种场景的数据消费-4 (29:32).mp4
  • 5 【实战】Spark流数据处理之Zookeeper集群安装-5 (20:52).mp4
  • 6 【实战】Spark流数据处理之Kafka集群安装-6 (21:54).mp4
  • 7 【实战】Spark流式数据处理之Kafka producer-7 (19:39).mp4
  • 8 【实战】Spark流式数据处理之Kafka consumer -8 (16:02).mp4
  • 9 【实战】Spark流式数据处理之SparkStreaming消费Kafka数据-9 (25:48).mp4
  • 10 【实战】Spark流式数据处理有状态的数据结果保存关系型数据库-10 (35:56).mp4
  • 11 【实战】Spark流式数据处理之自定义数据接收器Receiver-11 (21:13).mp4
  • 12 【实战】Spark流式数据处理之DStream抽象中的转换操作-12 (10:30).mp4
  • 13 【实战】Spark流式数据处理之窗口操作-13 (16:14).mp4
  • 14 【实战】Spark流式数据处理之Socekt数据join Kafka数据-14 (20:26).mp4
  • 15 【实战】Spark流式数据处理之DStream的输出操作-15 (08:53).mp4
  • 16 【实战】Spark流式数据处理之foreachRDD设计模式-16 (06:25).mp4
  • 17 【实战】Spark流式数据处理之广播变量和累加器-17 (16:21).mp4
  • 18 【实战】Spark流式数据处理之整合SparkSql-18 (14:16).mp4
  • 19 【实战】Spark流式数据处理之Streaming程序性能调优-19 (12:03).mp4
  • 20 Spark流式数据处理之SpringBoot微服务框架环境的搭建-20 (26:18).mp4
  • 21 Spark流式数据处理之可视化框架的搭建-21 (13:52).mp4
  • 22 Spark流式数据处理之项目实战打通后台数据库-22 (13:39).mp4
  • 23 Spark流式数据处理之综合实战-23 (39:34).mp4