这门课值不值得花时间学

风控是金融和电商业务里非常典型的数据场景,核心诉求是在高并发流量下实时识别异常行为。很多做后端或数据开发的人想转风控方向,往往卡在只会写离线批处理,对实时计算链路缺乏整体概念。这门课围绕 Flink 在风控场景的落地展开,解决的是从行为采集、流式计算到规则匹配的完整链路打通问题。它不是单纯讲 Flink 算子 API,而是把 OpenResty 采集日志、Lua 写入 Kafka、Flink 消费数据并做实时规则计算、结果落盘 Redis 和 MySQL 这条主线串起来。如果你当前的工作只停留在 CRUD 或离线数仓,想建立实时流处理的工程手感,这门课的切入角度比较务实。

适合什么基础与怎么安排学习顺序

资料默认你已经具备 Java 或 Scala 基础,写过简单的 Flink 任务,了解 Kafka 的基本概念。完全没碰过流处理的新手直接看会吃力,建议先补完 Flink 官方文档的入门示例再来。拿到资料后,建议先看 OpenResty 与 Lua 采集日志那几块,理解前端行为数据怎么产生并进入 Kafka;接着重点看 Flink 消费 Kafka 数据后的处理逻辑,尤其是实时规则匹配和状态管理部分;最后看结果写入 Redis 与 MySQL 的环节,弄清实时计算结果如何对外提供查询。不要一上来就跳到复杂的规则引擎部分,链路没打通时看规则匹配容易陷入细节。

学完能独立做什么与资料怎么配合练习

学完这套资料,你应该能独立搭建一条从日志采集到实时计算再到结果落盘的完整链路。具体来说,能用 OpenResty 配合 Lua 把业务日志推送到 Kafka,用 Flink 编写消费任务处理实时数据流,在 Flink 里实现基于窗口和状态的规则匹配逻辑,并把命中规则的结果写入 Redis 供线上服务读取,同时持久化到 MySQL 做留存。练习时建议自己起一套本地环境,按资料里的链路把每个环节跑通,重点自己动手改规则条件和窗口参数,观察 Flink 任务的行为变化。光看资料不动手,链路里的坑比如 Kafka 消费位移、Flink 状态过期、Redis 写入频率很难真正体会到。


????Flink??????????????-??????????? ?? ?????????????????????? ?? ??????????? ?? ???????????????????????? ?? openresty???????? ?? lua?????????? ?? openResty ??????? ?? lua????kafka ?? ????????????kafka??? ?? Flink???????????????? ?? ?????????????????? ?? ????????????????????????redis ?? ?????????????????????? ?? Flink??????????????????????????? ?? Flink???????????????mysql????????? ?? Flink??????????????????????? ?? Flink???????????????????????????? ?? Flink????????????????????????????? ?? Flink??????????????????????????????? ?? Flink??????????????????????kafka??? ?? Flink?????????????????????? ?? Flink?????????????????????????????? ?? Flink??????????????????????? ?? Flink???????????????? ?? Flink????????????????????redis ?? Flink?????????????????????HDFS ?? ????????????????????? ?? ?????????????????????? ?? 221873_13374_542302_Flink???????-????_Flink???????-????.zip

课程目录

*   01 基于Flink的大数据票务风控系统-项目背景介绍

*   02 项目整体架构和数据处理流程

*   03 项目功能描述

*   04 项目系统架构描述和反爬规则说明

*   05 openresty介绍和部署

*   06 lua语法介绍和使用

*   07 openResty 入门案例

*   08 lua集成kafka

*   09 测试数据写入kafka集群

*   10 Flink实时预处理模块工程构建

*   11 链路统计功能之数据接入

*   12 链路统计功能之数据处理结果入库redis

*   13 链路统计功能之数据同步和展示

*   14 Flink实时预处理模块业务需求介绍和实现思路

*   15 Flink实时预处理模块之加载mysql规则表数据

*   16 Flink实时预处理模块之广播流的使用案例

*   17 Flink实时预处理模块之数据的过滤和脱敏处理

*   18 Flink实时预处理模块之用户请求的分类打标签处理

*   19 Flink实时预处理模块之用户请求的解析和结构化处理

*   20 Flink实时预处理模块之结果数据发送给kafka集群

*   21 Flink实时处理模块之反爬虫指标介绍

*   22 Flink实时处理模块之加载事件流和规则流数据

*   23 Flink实时处理模块之爬虫业务指标统计

*   24 Flink实时处理模块之流程打分

*   25 Flink实时处理模块之爬虫信息入库redis

*   26 Flink实时处理模块之数据备份写入HDFS

*   27 离线报表分析模块需求说明

*   28 离线报表分析模块需求开发实现

*   29 221873_13374_542302_Flink票务风控系统-资料_Flink票务风控系统-资料.zip