导读：这门课解决什么问题
在数据工程的实际工作中，很多团队面临的痛点是：离线数仓的延迟太高，T+1 的数据无法支撑实时运营决策；而单纯的实时计算链路又缺乏完善的存储管理，导致数据更新困难、历史版本流失。这门基于 Flink 与 Hudi 的课程，针对的正是“企业亿级云上实时数据湖”这一具体场景。它不教零散的语法，而是把 Kafka 接入、Hadoop 与 HBase 底座构建、Hive 离线分析，以及 Hudi 数据湖的增删改查串联起来，演示如何用 Flink 实时把数据写入 Hudi，解决数据落地后的更新延迟与表结构演进问题。
适合什么基础与建议先看哪几块
这门资料不适合完全没接触过大数据的转行者，它默认你有一定的 Linux 命令行操作经验，了解关系型数据库和基础 SQL，最好写过简单的脚本或代码。如果你之前只做过传统离线数仓开发，想往实时数据架构转，这会是不错的切入点。建议在开始时先跳过零碎的环境搭建，直接看“项目架构讲解”和“数据湖以及 Hudi 数据湖精讲”这两块，先建立整体链路的全局认知，明确 Flink 负责计算、Hudi 负责存储的分工。理解了架构后，再回头跟着视频把 Kafka、Hadoop 等底层环境跑通。对于 Hudi 的核心部分，重点看“插入数据”“更新数据”和“查询数据”这几节，尤其是 mor 表类型的讲解，这是理解数据湖如何平衡读写性能的关键。
学完能独立做什么与资料怎么配合练习
看完这套资料，你应该能独立搭建一套从消息队列到数据湖存储的实时数据同步链路。具体来说，能够配置底层集群环境，使用 Flink 消费实时流数据并写入 Hudi，掌握数据的增量更新与历史快照查询。资料配合练习的方式很明确：由于课程基于真实企业案例，必须跟着视频一步步操作。先把基础环境装好，跑通 Kafka 的数据生产与消费；然后重点调试 Hudi 的写入代码，自己造一批带有主键更新操作的数据，观察 mor 表在读取时的合并逻辑。不要只看不练，大数据的坑都在环境配置和参数调优上，只有自己把数据写进去并查出来，才算真正掌握了这套云上数据湖架构。
本课程基于真实企业数据湖案例进行讲解，结合业务实现数据湖平台，让大家在实践中理解和掌握数据湖技术。
课程目录
* 01 1、数据湖课程说明.mp4 05:57
* 02 2、数据湖项目架构讲解.mp4 06:08
* 03 3、底层基础环境构建之kafka环境搭建.mp4 10:52
* 04 4、底层基础环境构建之hadoop环境构建.mp4 18:49
* 05 5、底层基础环境构建之hbase环境构建.mp4 09:30
* 06 6、底层基础环境构建之hive环境构建.mp4 04:32
* 07 7、数据湖以及Hudi数据湖精讲.mp4 18:22
* 08 8、数据湖之Hudi数据湖插入数据.mp4 20:50
* 09 9、 Hudi数据湖之更新数据.mp4 04:58
* 10 10、数据湖之Hudi数据湖查询数据.mp4 06:58
* 11 11、数据湖之Hudi数据湖mor表类型数据更新.mp4 07:37
* 12 12、Hudi数据湖之flink实时数据分析服务构建.mp4 12:31
* 13 13、Hudi数据湖之注册中心构建.mp4 06:16
* 14 14、Hudi数据湖之数据实时收集服务构建.mp4 15:15
* 15 15、业务数据接入之binlog.mp4 04:25
* 16 16、业务数据同步之cannal讲解.mp4 05:09
* 17 17、数据同步之canal实战.mp4 11:43
* 18 18、数据湖hudi之hive整合数据存储实战.mp4 12:40
* 19 19、hive整合数据存储调试及效果演示.mp4 11:22
* 20 20、数据湖hudi之hive整合数据存储无数据问题解决..mp4 15:37
* 21 21、数据湖hudi之hive整合数据更新实战..mp4 08:20
* 22 22、数据湖应用实战之实时日志实体构建..mp4 06:43
* 23 23、数据湖应用实战之日志结构抽象以及实时数据收集服务完善..mp4 07:14
* 24 24、数据湖应用实战之流量趋势map代码编写..mp4 16:11
* 25 25、数据湖应用实战之流量趋势用户明细reduce以及sin.mp4 12:08
* 26 26、数据湖应用实战之所有终端流量趋势reduce以及sin.mp4 10:05
* 27 27、数据湖应用实战之kafka工具类代码编写.mp4 04:36
* 28 28、数据湖应用实战之sparkstreaming同步数据服.mp4 06:34
* 29 29、数据湖应用实战之sparkstreaming同步数据服.mp4 24:01
* 30 30、数据湖应用实战之同步用户流量明细代码编写.mp4 11:15
* 31 31、数据湖应用实战之订单分析map代码编写.mp4 11:19
* 32 32、数据湖应用实战之订单分析用户明细以及总体趋势代码编写.mp4 11:28
* 33 33、数据湖应用实战之用户行为分析map代码编写.mp4 13:58
* 34 34、数据湖应用实战之用户行为分析用户明细以及趋势代码编写.mp4 10:57
* 35 35、数据湖应用实战之营销分析map代码编写.mp4 08:20
* 36 36、数据湖应用实战之营销分析用户明细以及趋势代码编写.mp4 10:13
* 37 37、数据湖应用实战之广告流量趋势用户明细代码编写.mp4 17:05
* 38 38、数据湖应用实战之广告流量趋势小时级别用户以及整体趋势代.mp4 12:41
* 39 39、数据湖应用实战之广告转化率分析flink join讲解.mp4 09:40
* 40 40、数据湖应用实战之广告转化率分析map代码编写.mp4 09:05
* 41 41、数据湖应用实战之广告转化率分析趋势代码编写.mp4 08:22
* 42 42、数据湖应用实战之clickhouse讲解以及安装.mp4 14:01
* 43 43、数据湖应用实战之clickhouse使用.mp4 06:26
* 44 44、数据湖应用实战之clickhouse工具类代码编写.mp4 18:19
* 45 45、数据湖应用实战之canal数据实时转换服务.mp4 07:40
* 46 46、数据湖应用实战之查询服务构建.mp4 07:12
* 47 47、数据湖应用实战之vue.js构建前端项目.mp4 08:11
* 48 48、数据湖应用实战之vue前端项目模板讲解.mp4 07:41
* 49 49、数据湖应用实战之vue.js+highcharts构建.mp4 07:20
* 50 50、数据湖应用实战之流量趋势图表.mp4 06:48
* 51 51、数据湖应用实战之用户行为、广告分析等图表.mp4 16:15
* 52 52、数据湖应用实战之流量趋势接口代码编写.mp4 12:30
* 53 53、数据湖应用实战之vue-resource 前后端交互以.mp4 09:50
* 54 54、数据湖应用实战之流量数据生成器开发以及数据收集服务调试.mp4 42:05
* 55 55、数据湖应用实战之数据收集服务补充.mp4 01:25
* 56 56、数据湖应用实战之流量分析服务调试.mp4 16:16
* 57 57、数据湖应用实战之流量分析服务问题分析以及解决.mp4 05:06
* 58 58、数据湖应用实战之用户明细流量hudi同步调试讲解.mp4 07:53
* 59 59、数据湖应用实战之数据转换服务现场调试讲解.mp4 11:22
* 60 60、数据湖应用实战之用户信息数据同步hudi.mp4 10:42
* 61 61、数据湖应用实战之流量趋势动态数据接口代码编写.mp4 07:45
* 62 62、数据湖应用实战之用户流量明细数据接口.mp4 07:13
* 63 63、数据湖应用实战之总体完善讲.mp4 04:38
