人工精选【中级】Flink大数据集群资源监控项目
先判断:这门课值不值得花时间 如果你正困在离线数仓里,想往实时计算方向转,或者公司业务突然要求用 Flink 处理流式数据,但你对怎么部署集群、怎么管资源毫无头绪,那这门课刚好对口。它解决的是“看懂 Flink 怎么跑在集群上,并且能监控它的资源消耗”这个具体场景。不是泛泛讲算子,而是把重点压在 F
会员 · 按档位
游客按标价购买,不享受上表折扣。
支付成功后自动发放网盘链接,链接失效可找客服免费补
先判断:这门课值不值得花时间
如果你正困在离线数仓里,想往实时计算方向转,或者公司业务突然要求用 Flink 处理流式数据,但你对怎么部署集群、怎么管资源毫无头绪,那这门课刚好对口。它解决的是“看懂 Flink 怎么跑在集群上,并且能监控它的资源消耗”这个具体场景。不是泛泛讲算子,而是把重点压在 Flink on YARN 的部署和资源监控上,属于真正上线时绕不开的硬环节。如果你连 Java 基础和 Linux 命令都不熟,建议先补这两块再来看;如果是带着实际业务需求来学的,这门课的性价比会比较高。
资料怎么用:顺序和练习建议
资料的组织逻辑是先搭环境、再讲部署、最后落到监控项目上。建议先跳过前面的概念铺垫,直接从“项目构建与测试”那节开始,跟着把 Maven 项目建起来、跑通 Local 模式。确认本地能跑通后,再回头看“Flink on YARN 运行原理”那块,对照着理解任务怎么提交到集群。不要只看视频不动手,这门课的核心价值在实操:每看完一个部署步骤,务必自己敲一遍命令、打一次包、提一次任务。遇到报错先自己查日志,这是积累实战经验必须过的关。资料里的代码包要当成脚手架用,先空手写一遍,写不动了再对照参考实现。
学完能独立做什么
完整跟下来后,你应该能独立完成这几件事:用 IDEA 构建一个标准的 Flink Maven 工程,写一个基础的流处理应用并打 jar 包;在本地 Local 模式跑通调试;把任务提交到 YARN 集群上运行;并且能搭建一套针对 Flink 任务的资源监控方案,知道 TaskManager 和 JobManager 的内存怎么分配、怎么观察任务运行时的资源消耗。换句话说,从“写代码”到“上集群跑起来并盯住资源”这条链路,你能一个人走完,不用再依赖别人帮忙配环境。这恰恰是很多只看过 Flink 算子教程的人最缺的一环。
你将对Flink流式处理技术有重点深入的理解,帮助同学们快速积累Flink实战项目经验。
课程目录
* 01 课程介绍与资料下载/
* 01 课程整体介绍
* 02 课程完整资料下载
* 02 Flink快速入门/
* 01 1.1Flink特点及层次结构
* 02 1.2Flink典型应用场景
* 03 1.3Flink VS Spark
* 04 1.4实时计算技术选型
* 03 Flink项目构建与测试/
* 01 2.1IDEA快速构建一个Maven项目
* 02 2.2开发第一个Flink应用案例
* 03 2.3通过Maven对Flink项目进行打包
* 04 2.4Flink Local模式安装与测试
* 05 2.5Flink Shell代码调试工具
* 04 Flink ON YARN集群部署/
* 01 3.1Flink ON YARN运行原理
* 02 3.2Flink ON YARN集群部署
* 03 3.3Flink ON YARN集群测试1
* 04 3.4Flink ON YARN集群测试2
* 05 Flink 流式计算/
* 01 4.1Flink运行模型
* 02 4.2Flink Source、Transformation
* 03 4.3Flink与Kafka集成开发1
* 04 4.4Flink与Kafka集成开发2
* 05 4.5Flink与Kafka集成开发3
* 06 Flink并行度详解/
* 01 5.1Flink task并行度介绍
* 02 5.2Flink并行度设置
* 07 InfluxDB架构原理/
* 01 1.1InfluxDB概述
* 02 1.2InfluxDB数据模型
* 03 1.3InfluxDB时间线
* 04 1.4InfluxDB系统架构
* 08 InfluxDB安装部署与基本操作/
* 01 2.1InfluxDB安装部署
* 02 2.2InfluxDB数据库增删改查
* 03 2.3InfluxDB数据保留策略增删改查
* 04 2.4InfluxDB表增删改查
* 05 2.5InfluxDB用户增删改查
* 06 2.6InfluxDB 用户授权
* 07 2.7InfluxDB开启登录认证
* 09 InfluxDB Java客户端操作/
* 01 3.1InfluxDB 构建Maven项目
* 02 3.2Java连接InfluxDB测试
* 03 3.3InfluxDB单条数据插入
* 04 3.4InfluxDB批量写入Points
* 05 3.5InfluxDB数据查询
* 06 3.6InfluxDB数据删除
* 10 Grafana可视化监控与分析工具/
* 01 1Grafana概述
* 02 2为什么要用Grafana
* 03 3Grafana安装部署
* 04 4实时产生时序数据
* 05 5Grafana添加InfluxDB数据源
* 06 6Grafana基本功能介绍
* 11 【项目实战】需求分析与架构设计/
* 01 1.1项目背景
* 02 1.2大数据集群产生的问题
* 03 1.3项目遇到的阻力
* 04 1.4整体解决方案
* 05 1.5架构设计与技术选型
* 12 【项目实战】集群环境准备/
* 01 2.1YARN集群调度器配置
* 02 2.2InfluxDB与Grafana环境准备
* 13 【项目实战】Flink流式项目开发/
* 01 3.1集群总体指标采集方案
* 02 3.2集群调度器指标采集方案
* 03 3.3YARN集群其他指标采集方案
* 04 3.4开发Http工具类采集YARN集群数据
* 05 3.5开发YARN集群的配置类
* 06 3.6自定义Flink Sink插入InfluxDB
* 07 3.7开发Flink应用主体逻辑
* 08 3.8自定义Flink Source采集YARN集群指标
* 09 3.9Flink解析公平调度的ClusterMetrics1
* 10 3.10Flink解析公平调度的ClusterMetric2
* 11 3.11Flink解析公平调度的ClusterMetric3
* 12 3.12Flink解析容量调度与FIFO调度的Yarn集群指
* 14 【项目实战】项目测试运行/
* 01 4.1本地代码测试运行
* 02 4.2开发环境代码测试运行
* 03 4.3生产环境代码测试运行1
* 04 4.4生产环境代码测试运行2
* 15 【项目实战】项目配置、打包与运行/
* 01 5.1Flink项目打包配置1
* 02 5.2Flink项目打包配置2
* 03 5.3Flink项目打包部署1
* 04 5.4Flink项目打包部署2
* 05 5.5解决Flink高版本兼容性问题
* 16 【项目实战】项目可视化监控与分析/
* 01 6.1Grafana添加InfluxDB数据源
* 02 6.2Grafana对YARN集群资源进行画像1
* 03 6.3Grafana对YARN集群资源进行画像2





