这门课解决什么问题
本课程主要针对想要学习如何使用Flink构建实时数仓项目的专业后端开发人员。课程内容涵盖了从离线数仓到实时数仓的架构设计,以及Flink在其中的应用。通过本课程的学习,你可以掌握如何使用Flink处理和分析实时数据,构建高效的数据仓库系统,解决企业在快速变化的数据环境中对实时数据处理的需求。
适合什么基础
这门课程适合有一定Java基础和Flink开发经验的后端开发人员。如果你已经掌握了基本的Java编程知识,具备一定的大数据处理经验,并且希望进一步深入学习Flink在实时数仓中的应用,那么这门课程非常适合你。
建议先看哪几块
建议先从基础部分开始学习,包括数仓基本概念、离线数仓架构、实时数仓架构等方面的内容。这部分可以帮助你快速构建对数仓和Flink的初步认识。此外,环境准备部分也非常重要,包括IDEA开发环境搭建、GitLab配置等,这些都是后续学习的基础。
学完能独立做什么
学完本课程后,你可以独立完成一个基于Flink的实时数仓项目。具体来说,你可以学习如何从Kafka主题中读取实时数据,使用FlinkCDC处理配置表数据,将数据同步到HBase表中,并进行数据的广播和关联。这些技能将帮助你在实际工作中更好地处理和分析实时数据,提升工作效率。
资料怎么配合练习
课程资料包包括详细的教程文档、代码示例和环境配置指导。建议先阅读教程文档,理解基础概念和架构设计。然后通过代码示例进行实际操作,配合环境准备部分的指导,一步步完成项目的搭建。通过反复练习,你可以更加熟练地掌握Flink实时数仓的开发技巧。
课程目录
001.教程简介.mp4
002.基础_数仓基本概念.mp4
003.基础_离线数仓架.mp4
004.基础_实时数仓架构.mp4
005.基础_ER模型和维度建模.mp4
006.基础_事实表和维度表.mp4
007.基础_数仓构建流程.mp4
008.基础_项目架构以及代码版本控制方式介绍.mp4
009.基础_IDEA开发环境搭建.mp4
010.环境准备_GitLab的安装.mp4
011.环境准备_GitLab的其它配置.mp4
012.环境准备_创建用户以及群组.mp4
013.环境准备_将初始代码推送到GitLab仓库.mp4
014.环境准备_设置Kafka分区数.mp4
015.ODS_日志数据采集.mp4
016.ODS_配置binlog记录业务数据变化.mp4
017.ODS_Maxwell的安装与配置.mp4
018.ODS_Maxwell同步数据测试.mp4
019.DIM_思路分析_基本流程.mp4
020.DIM_思路分析_引入配置表.mp4
021.DIM_思路分析_引入FlinkCDC.mp4
022.DIM_思路分析_配置表字段完善.mp4
023.DIM_FlinkCDC的使用.mp4
024.DIM_配置表的创建以及切换开发分支.mp4
025.DIM_开发思路分析.mp4
026.DIM_基本环境准备以及检查点设置.mp4
027.DIM_从Kafka主题中读取数据.mp4
028.DIM_转换流中数据类型以及Maxwell问题说明.mp4
029.DIM_使用FlinkCDC读取配置表数据.mp4
030.DIM_将配置流数据类型封装为实体类对象.mp4
031.DIM_封装HBaseUtil工具类.mp4
032.DIM_在HBase中建表.mp4
033.DIM_广播配置流并和主流进行关联.mp4
034.DIM_处理广播流数据.mp4
035.DIM_处理主流数据.mp4
036.DIM_过滤掉不需要传递的字段.mp4
037.DIM_主流数据先到问题分析.mp4
038.DIM_在open方法中预加载配置信息.mp4
039.DIM_将维度数据同步到HBase表中.mp4
040.DIM_封装FlinkSourceUtil工具类.mp4
041.DIM_抽取单独的处理函数类.mp4
042.DIM_抽取BaseApp基类.mp4
043.DIM_抽取方法.mp4
044.DIM_封装JdbcUtil工具类.mp4
045.DIM_DIM层总结.mp4
046.DWD_DWD层介绍.mp4
047.DWD_日志分流思路分析.mp4
048.DWD_开发思路分析.mp4
049.DWD_将脏数据放到侧输出流.mp4
050.DWD_创建KafkaSink对象以及Kafka一致性保证.mp4
051.DWD_抽取FlinkSinkUtil以及脏数据写到Kafka.mp4
052.DWD_新老访客标记修复思路.mp4
053.DWD_新老访客标记修复代码实现.mp4
054.DWD_埋点日志结构分析.mp4
055.DWD_分流代码实现.mp4
056.DWD_将不同流的数据写到Kafka主题.mp4
057.DWD_抽取方法以及提交代码到GitLab.mp4
058.DWD_评论事实表思路分析.mp4
059.DWD_FlinkAPI双流Join介绍.mp4
060.DWD_内连接.mp4
061.DWD_左外连接.mp4
062.DWD_右外连接以及全外连接.mp4
063.DWD_左外连接结果写到Kafka主题.mp4
064.DWD_从Kafka主题中读取数据.mp4
065.DWD_从HBase表中读取数据.mp4
066.DWD_lookupJoin关联.mp4
067.DWD_将关联结果写到Kafka主题.mp4
068.DWD_评论事实表开发思路以及环境准备.mp4
069.DWD_从topic_db主题中读取数据.mp4
070.DWD_过滤出评论数据.mp4
071.DWD_从Hbase中读取字典表数据.mp4
072.DWD_关联评论表和字典表.mp4
073.DWD_将关联的结果写到Kafka主题.mp4
074.DWD_抽取工具类封装获取连接器属性的方法.mp4
075.DWD_抽取BaseSQLApp基类以及通用的建表方法.mp4
076.DWD_加购事实表开发思路分析.mp4
077.DWD_过滤出insert类型的加购数据.mp4
078.DWD_过滤出update类型的加购数据以及写到Kafka.mp4
079.DWD_下单事实表思路分析.mp4
080.DWD_下单事实表代码实现.mp4