先想清楚:这套资料到底解决什么工作场景

这套资料只聚焦一件事:用 Flink 和 Iceberg 搭一套能真正跑起来的实时数据湖。它解决的场景很具体——公司业务日志或订单数据源源不断写入 Kafka,你需要把它们实时落盘,后续还要支持流批一体查询、表结构变更和历史数据回溯。很多团队的痛点是 Kafka 存不下历史数据,直接写 Hive又做不到实时,这套组合就是填中间这道缝。如果你日常工作只是写写 SQL 报表,或者完全没碰过大数据组件,这套资料不太适合你直接上手;它默认你写过 Java 或 Scala,对 Hadoop 生态至少有概念级认知。转行或刚接触大数据但想往数据工程方向走的人,建议先把 HDFS 基础和 Flink DataStream API 摸熟,再来啃这套资料,否则环境搭建那几关就会卡住。

建议先看哪几块,资料怎么配合练习

资料的组织顺序是先搭环境再讲整合,最后才是业务落地。我的建议是别从头按顺序看,先跳到 Iceberg 核心概念那几节,弄清楚 catalog、表格式、快照机制到底是怎么回事,再回头看环境搭建。因为环境那部分 Zookeeper、Kafka、Hadoop、HBase 一连串装下来很容易消磨耐心,如果你还不确定 Iceberg 是不是你要的东西,先花时间装环境不划算。真正动手时,把视频当操作手册用:先完整看一遍某个组件的安装步骤,自己敲一遍命令,遇到报错再回视频对照。资料里涉及的组件版本搭配很关键,不要自己随意换版本,按资料里给的组合来,否则 Iceberg 和 Spark、Flink 的整合很容易出依赖冲突。练习时建议准备一台内存大一点的机器或云主机,这套东西跑起来吃资源,本地笔记本硬扛容易卡死。

学完能独立做什么

认真跟下来并自己动手跑通后,你应该能独立完成这几件事:从零部署一套 Flink 加 Iceberg 的实时数据接入链路,把 Kafka 里的数据流式写入 Iceberg 表;配置 Iceberg 的 catalog 让 Spark 和 Flink 都能读写同一张表;处理数据入湖过程中的分区策略和表维护操作,比如快照过期清理和小文件合并。说白了,学完之后公司如果让你搭一套实时数仓底层存储,你能拿出一个可落地的方案,而不是只知道概念说不出怎么干。这套资料不会教你写复杂的 Flink 业务逻辑,也不涉及机器学习和算法,它就是把数据湖基础设施这条线讲透。如果你当前目标是做业务分析师或算法工程师,投入产出比不高;如果你的方向是数据平台工程师或大数据开发,这套组合目前在中大型团队的实际落地场景里用得越来越多,值得花时间啃透。


本课程基于将基于flink+Iceberg 实现一个可落地的企业级实时数据湖系统.。

课程目录

*   01 1、Flink+Iceberg数据湖课程说明.mp4 (63.21 MB), 12:06

*   02 2、基础环境之zookeeper环境安装.mp4 (18.87 MB), 05:48

*   03 3、基础环境之kafka环境构建.mp4 (18.14 MB), 06:22

*   04 4、基础环境之hadoop环境构建.mp4 (25.07 MB), 08:49

*   05 5、基础环境之hbase环境构建.mp4 (39.44 MB), 12:34

*   06 6、数据湖之iceberg讲解.mp4 (20.84 MB), 04:54

*   07 7、数据湖之构建编译Iceberg实战.mp4 (81.45 MB), 12:46

*   08 8、数据湖之Iceberg整合spark配置实战.mp4 (83.31 MB), 12:26

*   09 9、数据湖之Iceberg spark sql 操作实战.mp4 (48.80 MB), 07:44

*   10 10、数据湖之Iceberg spark sql 隐藏分区操.mp4 (70.20 MB), 11:16

*   11 11、数据湖之Iceberg spark 代码操作实战.mp4 (164.01 MB), 23:39

*   12 12、数据湖之Iceberg flink配置和使用实战.mp4 (62.92 MB), 10:39

*   13 13、数据湖之Iceberg flink sql操作实战.mp4 (20.27 MB), 03:26

*   14 14、数据湖之Iceberg flink 代码实战.avi.mp4 (95.78 MB), 14:50

*   15 15、实时业务数据同步之binlog讲解.mp4 (20.69 MB), 06:50

*   16 16、实时业务数据同步之binlog使用以及查看.mp4 (10.85 MB), 03:33

*   17 17、实时数据同步分析之flinkcdc讲解.mp4 (23.85 MB), 05:00

*   18 18、实时数据同步分析之flink cdc代码实战.mp4 (87.80 MB), 14:51

*   19 19、主题域划分和交易域表结构和实体讲解.mp4 (23.99 MB), 04:16

*   20 20、流量域、用户域、互动域、工具域表结构和实体讲解.mp4 (40.97 MB), 07:01

*   21 21、数据建模之数据仓库理论讲解.mp4 (50.54 MB), 13:19

*   22 22、数据建模之数据仓库计算和存储引擎讲解.mp4 (8.53 MB), 02:15

*   23 23、数据建模之数据仓库构建流程之数据调研讲解.mp4 (20.75 MB), 05:29

*   24 24、数据建模之数据仓库构建流程之明确数据域讲解.mp4 (6.85 MB), 01:56

*   25 25、数据建模之数据仓库构建流程之构建业务总线矩阵讲解.mp4 (14.75 MB), 03:41

*   26 26、数据建模之数据仓库构建流程之指标体系相关概念讲解.mp4 (15.75 MB), 04:46

*   27 27、数据建模之数据仓库构建流程之指标体系对于数仓建模的作用.mp4 (27.95 MB), 06:58

*   28 28、数据建模之数据仓库构建流程之维度建模设计和汇总模型设计.mp4 (13.35 MB), 03:27

*   29 29、各大数据域事实表业务建模实体实战讲解.mp4 (28.97 MB), 08:00

*   30 30、各大数据域指标建模实体实战讲解.mp4 (60.19 MB), 09:12

*   31 31、各大数据域维度建模实体实战讲解.mp4 (29.69 MB), 05:25

*   32 32、各大数据域指标趋势实体实战讲解.mp4 (67.13 MB), 10:28

*   33 33、订单域iceberg flinkcdc 实时数据分析实.mp4 (65.26 MB), 10:57

*   34 34、订单域iceberg flinkcdc 实时数据分析代.mp4 (77.94 MB), 11:08

*   35 35、订单域iceberg flinkcdc 实时数据分析代.mp4 (18.62 MB), 02:56

*   36 36、订单域下单事实实时分析存储代码讲解.mp4 (56.09 MB), 08:18

*   37 37、包冲突解决以及订单域下单事实实时分析存储启动效果演示.mp4 (18.66 MB), 02:54

*   38 38、订单域dsw实时分析代码讲解.mp4 (54.11 MB), 07:36

*   39 39、checkpoint失败问题分析以及解决以及订单域ds.mp4 (53.23 MB), 08:03

*   40 40、clickhouse讲解.mp4 (18.69 MB), 05:42

*   41 41、clickhouse环境安装.mp4 (50.45 MB), 13:08

*   42 42、ClickHouse 数据类型以及常用操作.mp4 (22.39 MB), 06:41

*   43 43、Clickhouse java使用实战讲解.mp4 (24.71 MB), 07:20

*   44 44、Clickhouse 工具封装代码讲解.mp4 (43.35 MB), 11:58

*   45 45、业务层订单趋势实时分析代码讲解以及效果演示.mp4 (113.70 MB), 17:03

*   46 46、springboot讲解以及构建web应用.mp4 (34.36 MB), 11:38

*   47 47、Spring Cloud注册中心构建.mp4 (19.67 MB), 05:59

*   48 48、数据查询服务构建以及订单趋势服务代码讲解.mp4 (41.47 MB), 06:23

*   49 49、前端服务vue代码讲解以及效果演示.mp4 (38.16 MB), 06:42

*   50 50、数据收集服务讲解以及效果演示.mp4 (78.55 MB), 11:35

*   51 51、hbase 工具封装代码讲解.mp4 (51.65 MB), 14:58

*   52 52、用户状态数据处理.mp4 (40.75 MB), 10:06

*   53 53、流量域用户状态处理实战讲解.mp4 (90.89 MB), 13:42

*   54 54、数据实时转换服务.mp4 (22.41 MB), 06:12

*   55 55、整体维表数据实时转换代码实战.mp4 (94.52 MB), 15:44

*   56 56、各大主题域ods贴源层实时分析代码实战讲解.mp4 (77.55 MB), 11:08

*   57 57、各大主题域dwd层实时分析代码实战讲解.mp4 (92.33 MB), 13:43

*   58 58、各大主题域dws层实时分析代码实战讲解.mp4 (116.33 MB), 16:56

*   59 59、各大主题域ads层实时分析代码实战讲解.mp4 (46.25 MB), 06:45

*   60 60、各大主题域查询服务实战代码讲解.mp4 (62.44 MB), 09:24

*   61 61、整体前端代码实战讲解.mp4 (26.52 MB), 04:21

*   62 62、广告成交趋势实时分析整体联调演示.mp4 (153.24 MB), 22:31

*   63 63、整体项目效果演示.mp4 (14.67 MB), 02:33

*   64 64、iceberg明细查询服务代码实战讲解和演示.mp4 (40.47 MB), 06:18

*   65 65、明细查询服务整体联调效果演示.mp4 (70.56 MB), 10:56

*   66 66、整体架构总结讲解.mp4 (80.81 MB), 16:41

*   67 67、整体代码讲解补充.mp4 (15.10 MB), 02:28