人工精选【初级】Spark Streaming广告点击实时分析系统
这门课解决什么工作场景 日常企业数据处理里,广告投放后的点击与转化统计往往要求秒级响应。传统离线数仓跑批通常按天或小时产出,遇到大促期间流量突增,业务端根本等不起。这门课瞄准的就是这个断层:用 Spark Streaming 把用户点击日志实时接进来,做去重、过滤和聚合,把结果写回下游供报表或风控使
会员 · 按档位
游客按标价购买,不享受上表折扣。
支付成功后自动发放网盘链接,链接失效可找客服免费补
这门课解决什么工作场景
日常企业数据处理里,广告投放后的点击与转化统计往往要求秒级响应。传统离线数仓跑批通常按天或小时产出,遇到大促期间流量突增,业务端根本等不起。这门课瞄准的就是这个断层:用 Spark Streaming 把用户点击日志实时接进来,做去重、过滤和聚合,把结果写回下游供报表或风控使用。它不教你怎么画转化漏斗,而是解决底层数据怎么从无到有流过去、中间怎么防丢防重、集群怎么搭起来不崩。
适合什么基础与建议先看哪几块
课程标了初级,但这里的初级指的是从零搭环境,不是说你完全没听过 Java 也能跟。实际门槛是:写过简单 Java 或 Scala 代码、知道 Linux 基本命令、对 HDFS 有个概念但没亲手配过集群。资料里 Linux 虚拟机安装、JDK 配置、Hadoop 伪分布这几节看着琐碎,却是后面 Zookeeper 和 Spark 集群能不能跑通的前提,建议先跟着做一遍,别跳。环境搭不顺,后面写多少代码都是空谈。IDEA 开发环境那一节也别略过,依赖管理和工程结构搞错,编译期会卡很久。如果 Hadoop 伪分布你已经很熟,可以直接从 Zookeeper 分布式集群往后看,但集群脚本和 ssh 免密登录值得停下来读,企业里多节点部署就是这么做的。
学完能独立做什么与资料怎么配合练习
跟着走完,你能独立搭起一套从日志采集到实时聚合的小型链路:虚拟机上跑起 Hadoop 和 Zookeeper,Spark Streaming 程序接住广告点击数据流,按时间窗口统计点击量并输出。这个规模离生产还有距离,但作为面试时能讲清楚的完整项目,够用了。练习时建议这样配合资料:先把环境搭建部分的视频当操作手册,边看边在自己机器上复现,遇到 IP 配置或端口不通就停下来查;代码部分不要只跟着敲,自己改窗口长度和聚合维度,看输出变化,理解参数背后的含义。最后拿一份自己的测试日志灌进去,验证整条链路通不通,这比反复看视频有效得多。
从0开始搭建一个Spark Streaming广告点击实时分析系统
课程目录
* 01 课程介绍与资料下载/
* 01 Spark Streaming广告点击实时分析系统课程介绍
* 02 搭建IDEA开发环境与Linux系统/
* 01 搭建IDEA开发环境
* 02 VMware WorkStations安装
* 03 Linux系统介绍
* 04 创建新的Linux虚拟机
* 05 安装Centos7操作系统
* 06 Linux静态IP配置
* 07 Linux系统配置
* 08 JDK安装与配置
* 09 Hadoop伪分布集群配置
* 10 Hadoop伪分布集群启动与测试
* 03 搭建Zookeeper分布式集群/
* 01 集群节点环境准备
* 02 配置集群hosts文件
* 03 配置集群时钟服务器
* 04 配置集群ssh免密登录
* 05 集群脚本开发
* 06 搭建zookeeper分布式集群
* 04 搭建Hadoop分布式集群/
* 01 Hadoop集群规划
* 02 HDFS集群配置
* 03 启动HDFS集群服务
* 04 HDFS集群测试运行
* 05 YARN集群配置
* 06 启动YARN集群服务
* 07 YARN集群测试运行
* 08 Hadoop集群故障转移测试
* 05 搭建Flume日志采集系统/
* 01 Flume架构及运行原理
* 02 Flume环境安装部署
* 03 案例实践:搭建Flume分布式集群1
* 04 案例实践:搭建Flume分布式集群2
* 05 案例实践:搭建Flume分布式集群3
* 06 搭建Kafka分布式消息系统/
* 01 Kafka架构设计与工作原理
* 02 Kafka分布式集群搭建1
* 03 Kafka分布式集群搭建2
* 04 案例实践:Flume与Kafka集成开发
* 07 搭建Davinci可视化分析系统/
* 01 Davinci架构设计
* 02 Davinci安装部署1
* 03 Davinci安装部署2
* 04 启动Davinci服务
* 08 Spark实时分析系统/
* 01 Spark 概述
* 02 Spark最简安装
* 03 开发Spark第一个案例1
* 04 开发Spark第一个案例2
* 05 Spark RDD与算子详解
* 06 Spark Standalone分布式集群搭建1
* 07 Spark Standalone分布式集群搭建2
* 08 Spark Standalone分布式集群搭建3
* 09 Spark ON YARN分布式集群搭建
* 10 Spark Streaming实时计算
* 09 项目实战: Spark Streaming广告点击实时分析系/
* 01 项目需求分析与架构设计
* 02 项目业务建模
* 03 数据生产者开发1
* 04 数据生产者开发2
* 05 Spark Streaming业务代码开发1
* 06 Spark Streaming业务代码实现2
* 07 Spark Streaming业务代码开始3
* 08 SparkStreaming与Kafka、MySQL联调
* 09 广告点击实时分析系统整体联调
* 10 数据大屏制作:广告实时点击分析系统1
* 11 数据大屏制作:广告实时点击分析系统2
* 12 数据大屏制作:广告实时点击分析系统3
* 13 数据大屏制作:广告实时点击分析系统4





