人工精选【大数据 Spark 2.x 流数据 多案例】Spark Streaming流数据处理基础与提升
流数据到底解决什么工作场景 这份资料讲的是 Spark 2.x 时代的流数据处理,也就是 Spark Streaming。很多做后端或数据开发的人平时习惯了跑批处理任务,比如半夜用定时任务统计昨天的订单量,但如果业务方要求每五分钟看一次实时成交数据,或者风控系统需要在几秒内消费日志并判断异常访问,跑
会员 · 按档位
游客按标价购买,不享受上表折扣。
支付成功后自动发放网盘链接,链接失效可找客服免费补
流数据到底解决什么工作场景
这份资料讲的是 Spark 2.x 时代的流数据处理,也就是 Spark Streaming。很多做后端或数据开发的人平时习惯了跑批处理任务,比如半夜用定时任务统计昨天的订单量,但如果业务方要求每五分钟看一次实时成交数据,或者风控系统需要在几秒内消费日志并判断异常访问,跑批就不够用了,必须靠流处理把源源不断的数据当成一条连续的河流来计算。这门课解决的就是这类场景:怎么用 Spark 接入实时数据源、怎么消费消息队列里的数据、怎么把接收到的流按时间切片做聚合。它不负责教你离线数仓那一套,而是帮你补上实时计算这块拼图,让你在面对实时大屏、实时报警、实时日志清洗这类需求时,知道代码该怎么写。
适合什么基础,建议先看哪几块
这套资料不适合完全没写过代码的人。它默认你已经熟悉 Scala 或 Python 的基本语法,并且能独立用 Spark Core 跑通离线的 WordCount,知道 RDD 是怎么回事。如果你的 Spark 基础比较薄,建议先去补离线部分,否则直接看流处理会觉得抽象。资料前两块讲的是框架原理和编写程序的注意事项,这部分比较干,建议不要跳过,因为它直接决定了你后面写出来的程序会不会丢数据。看完原理后,直接跳到 Kafka 相关的实战部分,包括集群安装、生产者消费者以及 Spark Streaming 消费 Kafka 数据。现实中大部分公司的流处理都是这个链路,先把这条主干跑通,再回头看监控 HDFS 目录和 Socket 数据消费的演示,你会更清楚不同数据源的接入差异。
学完能独立做什么,资料怎么配合练习
把主干内容吃透后,你应该能独立完成一个基础的实时数据管道:自己搭一套 Kafka 集群,写一个生产者程序往里灌日志,再用 Spark Streaming 把日志读出来做简单的词频统计或按时间窗口的聚合,最后把结果打印或落盘。这听起来不复杂,但能独立搭通这套链路,基本就具备了做实时数仓第一层接入的能力。在看资料时,不要只盯着视频看,一定要自己开虚拟机跟着敲。Kafka 集群安装那几节,建议你准备两台虚拟机或者用单机伪分布式跑一遍,手动把 broker 启动起来,用命令行工具去生产和消费消息,确认通了之后,再把 Spark 程序接进去。很多初学者在学流处理时卡住,不是因为算子不会用,而是卡在环境配置和消息队列的连调上。所以这份资料的正确用法是:把 Kafka 那几节当成环境搭建手册,跟着踩一遍坑,再拿后面的消费代码做模板,自己改一改数据源和计算逻辑,跑通一个属于自己的实时统计小任务,这样才算真正消化了。
课程目录
课程目录23 集
- 1 spark流式处理框架介绍及对比-1 (15:00).mp4
- 2 Spark流式处理设计原理及编写streaming程序的三大注意事项-2 (15:40).mp4
- 3 【实战】Spark监控HDFS目录的两种常见应用场景及实战-3 (23:15).mp4
- 4 【实战】SparkStreaming对Socket数据进行两种场景的数据消费-4 (29:32).mp4
- 5 【实战】Spark流数据处理之Zookeeper集群安装-5 (20:52).mp4
- 6 【实战】Spark流数据处理之Kafka集群安装-6 (21:54).mp4
- 7 【实战】Spark流式数据处理之Kafka producer-7 (19:39).mp4
- 8 【实战】Spark流式数据处理之Kafka consumer -8 (16:02).mp4
- 9 【实战】Spark流式数据处理之SparkStreaming消费Kafka数据-9 (25:48).mp4
- 10 【实战】Spark流式数据处理有状态的数据结果保存关系型数据库-10 (35:56).mp4
- 11 【实战】Spark流式数据处理之自定义数据接收器Receiver-11 (21:13).mp4
- 12 【实战】Spark流式数据处理之DStream抽象中的转换操作-12 (10:30).mp4
- 13 【实战】Spark流式数据处理之窗口操作-13 (16:14).mp4
- 14 【实战】Spark流式数据处理之Socekt数据join Kafka数据-14 (20:26).mp4
- 15 【实战】Spark流式数据处理之DStream的输出操作-15 (08:53).mp4
- 16 【实战】Spark流式数据处理之foreachRDD设计模式-16 (06:25).mp4
- 17 【实战】Spark流式数据处理之广播变量和累加器-17 (16:21).mp4
- 18 【实战】Spark流式数据处理之整合SparkSql-18 (14:16).mp4
- 19 【实战】Spark流式数据处理之Streaming程序性能调优-19 (12:03).mp4
- 20 Spark流式数据处理之SpringBoot微服务框架环境的搭建-20 (26:18).mp4
- 21 Spark流式数据处理之可视化框架的搭建-21 (13:52).mp4
- 22 Spark流式数据处理之项目实战打通后台数据库-22 (13:39).mp4
- 23 Spark流式数据处理之综合实战-23 (39:34).mp4





