人工精选 飞豹客云计算/大数据 会员免费
尚硅谷大数据项目之Flink实时数仓4.0
这门课讲的是用 Flink 搭一套实时数仓，从数据采集一路做到 DWS 层的指标汇总。它解决的不是"Flink API 怎么调"这类语法问题，而是当你手上有一条实时数据流、业务方又要看分钟级指标时，整条链路该怎么分层、怎么组织代码、怎么让任务稳定跑住。如果你已经在用离线数仓，但被"数据要等到第二天"
单课价¥29.90新品 上架
会员可免费下载本篇月会员可按日额度下载（每篇扣 1 次）。
开通会员 ›购买本课销量 0 · 永久有效
会员价 · 单课标价 ¥29.90
会员 A · 按档位折扣
永久免费可下
年免费可下
月免费可下
周免费可下
会员 B
VIP¥5.98低至
SVIP单买¥200 内可领
游客按标价购买，不享受上表折扣。
支付成功后自动发放网盘链接，链接失效可找客服免费补
正版保障 极速发货 售后无忧
这门课讲的是用 Flink 搭一套实时数仓，从数据采集一路做到 DWS 层的指标汇总。它解决的不是"Flink API 怎么调"这类语法问题，而是当你手上有一条实时数据流、业务方又要看分钟级指标时，整条链路该怎么分层、怎么组织代码、怎么让任务稳定跑住。如果你已经在用离线数仓，但被"数据要等到第二天"这件事反复追问，这门课对应的就是那个场景。
适合什么基础，不适合什么基础
它默认你已经知道数仓分层（ODS、DWD、DWS、ADS 这套说法不用现学），能看懂 SQL，对 Kafka 有基本概念，Java 或 Scala 至少能读能改。Flink 本身不需要很熟，但完全没碰过流处理、连算子都分不清的话，前期会有点吃力，建议先补一遍基础再回来。反过来，如果你已经独立做过实时任务、只是想找项目练手，这门课的架构讲解部分仍然有价值，但基础章节会显得啰嗦。纯零基础转行者不建议直接上，它更像是给有大数据背景的人做的一次完整项目复盘。
建议先看哪几块
不要从第一集顺播到底。先看数据源分析和分层设计那部分，把整条链路的走向在纸上画一遍——数据从哪来、在哪一层落地、每层承担什么职责。这一步想清楚了，后面写代码才不会变成抄。接着看 DWD 层如何读取主流数据和配置表数据做关联，这是实时数仓最容易出问题的地方，维表关联、数据延迟、乱序处理都会在这里暴露。DWS 层建议放在后面看，重点留意各粒度用户访问数据是怎么聚合的，以及为什么某些状态要设置存活时间——这个细节直接关系到任务跑久了会不会内存爆掉。环境搭建类的章节可以边做边看，不必提前啃完。
学完能独立做什么，资料怎么配合练习
跟完之后，你应该能自己搭起一条从数据采集到指标输出的实时链路，能按业务需求在 DWD 和 DWS 层做合理的表设计和聚合，遇到状态膨胀、数据重复这类常见毛病时知道往哪个方向排查。能做到这一步，面试里聊实时数仓项目就有东西可说了。练习上建议不要只看不写：每看完一个模块，把代码关掉自己重敲一遍，尤其是关联和聚合的逻辑；跑通之后故意把数据造得乱一点，看任务怎么反应。视频里的项目环境尽量本地复现一遍，光看演示和亲手配环境是两回事。另外，各模块的回顾部分别跳过，那些是压缩过的要点，用来检验自己是不是真记住了。
课程目录4 集
- 📁 视频 视频必看.png [493.5 KB] 101_DWS_流量域各粒度用户访问数据添加状态存活时间.mp4 [22.1 MB] 156_DWS回顾.mp4 [81.4 MB] 13_gitlab的安装部署.mp4 [543.2 MB] 115_dws模块回顾.mp4 [22.8 MB] 72_DWD_base_db需求读取主流和配置表数据.mp4 [84.7 MB] 40_DWD_数据源分析.mp4 [78.0 MB] 58_DWD_筛选加购事务表明细数据.mp4 [100.4 MB] 120_DWS_维度关联补全sku_info信息.mp4 [194.0 MB] 63_DWD_下单明细表写出到kafka实现.mp4 [79.7 MB] 05_实时数仓框架选型-ods dwd和dim.mp4 [47.5 MB] 145_合并gitlab代码请求.mp4 [26.3 MB] 136_DWS_各省份窗口下单聚合统计.mp4 [82.0 MB] 127_DWS_旁路缓存回顾.mp4 [47.2 MB] 27_DIM_对主流数据进行清洗过滤.mp4 [134.2 MB] 45_DWD_日志拆分需求新旧访客修复代码测试.mp4 [256.3 MB] 129_DWS_异步连接的获取.mp4 [36.5 MB] 60_DWD_下单事务事实表需求分析.mp4 [33.7 MB] 126_DWS_度量值去重回顾.mp4 [59.1 MB] 02_实时数仓和离线数仓的概述区别.mp4 [27.9 MB] 82_DWS_doris的fe缩容及群起脚本.mp4 [20.8 MB] 73_DWD_base_db合并处理事实表数据.mp4 [89.3 MB] 21_DIM_baseAPP使用演示.mp4 [64.4 MB] 15_gitlab兼容IDEA实现提交推送项目.mp4 [36.8 MB] 114_dim和dwd模块代码回顾.mp4 [68.2 MB] 36_DIM_HBase写入数据和删除数据的方法编写.mp4 [87.2 MB] 55_DWD_baseSQLAPP封装实现及使用方法.mp4 [22.5 MB] 157_部署及可视化回顾.mp4 [25.2 MB] 43_DWD_日志拆分需求数据清洗ETL处理.mp4 [56.9 MB] 152_Flink实时数仓代码结构设计回顾.mp4 [49.9 MB] 28_DIM_读取配置表数据.mp4 [57.8 MB] 52_DWD_LookUp join使用场景介绍.mp4 [82.3 MB] 42_DWD_日志拆分需求分析.mp4 [42.2 MB] 108_DWS_用户登录统计数据聚合写出到doris.mp4 [71.1 MB] 95_DWS_关键字分组开窗聚合统计.mp4 [59.7 MB] 83_DWS_doris的数据模型agg模型介绍.mp4 [114.6 MB] 35_DIM_预加载配置表信息避免数据丢失功能实现.mp4 [79.4 MB] 37_DIM_写出数据到HBase的代码编写.mp4 [31.9 MB] 84_DWS_doris的数据模型唯一与可重复模型介绍.mp4 [17.1 MB] 07_实时数仓和实时计算及离线计算的比较.mp4 [14.1 MB] 68_DWD_支付成功需求使用interval join完成表格关联.mp4 [110.8 MB] 56_DWD_评论事实表完成HBase的lookup_join.mp4 [91.2 MB] 142_streamPark编译部署项目.mp4 [289.4 MB] 84_DWS_doris的分区分桶.mp4 [55.7 MB] 141_streamPark使用设置.mp4 [154.0 MB] 87_DWS_doris的动态分区原理介绍.mp4 [44.4 MB] 18_ODS_确保数据源时间有序的方法介绍.mp4 [41.4 MB] 106_DWS_用户登录统计需求过滤数据.mp4 [64.8 MB] 131_DWS_flink异步算子实现维度关联.mp4 [42.8 MB] 24_DIM_动态拆分维度表功能实现的选择介绍.mp4 [54.1 MB] 41_DWD_日志拆分需求代码结构介绍.mp4 [35.6 MB] 130_DWS_flink异步算子使用编写.mp4 [151.1 MB] 81_DWS_doris的fe扩容.mp4 [52.6 MB] 32_DIM_使用配置流信息创建HBase表格.mp4 [75.3 MB] 70_DWD_支付成功需求写出数据.mp4 [177.2 MB] 66_DWD_支付成功需求筛选支付成功数据.mp4 [44.5 MB] 65_DWD_支付成功事实表需求分析.mp4 [50.4 MB] 74_DWD_base_db数据写出.mp4 [114.6 MB] 109_DWS_用户注册统计需求分析.mp4 [30.1 MB] 89_DWS_doris的rollup介绍.mp4 [51.0 MB] 96_DWS_关键词开窗统计数据写出到doris.mp4 [145.9 MB] 34_DIM_使用JDBC工具预加载配置表信息避免主流数据丢失.mp4 [96.5 MB] 94_DWS_完成关键词的拆分工作.mp4 [23.7 MB] 128_DWS_异步IO介绍.mp4 [30.1 MB] 119_DWS_商品粒度聚合统计.mp4 [51.9 MB] 137_项目部署上线介绍.mp4 [37.2 MB] 11_git分支流程介绍.mp4 [31.2 MB] 133_DWS_完整封装模板方法实现维度关联.mp4 [91.7 MB] 12_idea中的代码结构部署.mp4 [69.9 MB] 16_实时数仓架构搭建-flink和hbase的安装部署.mp4 [93.5 MB] 90_DWS_doris的物化视图.mp4 [58.0 MB] 03_实时数仓的完整架构.mp4 [54.4 MB] 26_DIM_核心业务逻辑介绍.mp4 [26.7 MB] 97_DWS_流量域各粒度用户页面访问窗口聚合需求分析.mp4 [25.7 MB] 103_DWS_首页详情页独立访客判断代码实现.mp4 [98.4 MB] 62_DWD_下单明细表完成四个表格的join操作.mp4 [69.3 MB] 117_DWS_sku商品粒度过滤添加水位线.mp4 [89.5 MB] 154_ODS层回顾.mp4 [29.2 MB] 116_DWS_sku商品下单需求分析.mp4 [54.6 MB] 31_DIM_HBase删除表格API编写.mp4 [23.0 MB] 143_streamPark上线任务演示.mp4 [101.4 MB] 144_streamPark使用检查点重启任务.mp4 [15.5 MB] 14_gitlab用户创建和管理.mp4 [71.3 MB] 51_DWD_flinkSQL的基础原理介绍.mp4 [46.7 MB] 22_DIM_基类添加webUI页面介绍.mp4 [24.1 MB] 57_DWD_评论事实表完成数据写出.mp4 [63.5 MB] 132_DWS_模板方法初步封装.mp4 [113.0 MB] 86_DWS_doris的复合分区和多列分区介绍.mp4 [25.2 MB] 138_streamPark概述介绍.mp4 [26.3 MB] 01_Flink最新电商数据课程介绍.mp4 [21.3 MB] 53_DWD_LookUp join具体使用演示.mp4 [36.7 MB] 100_DWS_流量域各粒度用户访问数据写出到doris.mp4 [141.7 MB] 110_DWS_用户注册需求实现.mp4 [170.4 MB] 139_streamPark的解压部署.mp4 [46.1 MB] 29_DIM_HBase创建关闭连接.mp4 [502.7 MB] 39_DIM_代码与功能回顾.mp4 [93.0 MB] 92_DWS_热词开窗统计筛选关键字.mp4 [119.7 MB] 09_数仓设计回顾.mp4 [51.3 MB] 78_DWS_doris单台后端的安装部署.mp4 [42.2 MB] 124_DWS_添加redis作为旁路缓存.mp4 [153.2 MB]
- 📁 资料 资料必看.png [493.5 KB] 13.gitlab.exe [1.2 GB] 10.redis.exe [2.5 MB] 5.zookeeper.exe [12.4 MB] 9.hbase.exe [270.6 MB] 4.kafka.exe [100.5 MB] 11.doris.exe [3.6 GB] 8.mock.exe [34.9 MB] 6.mysql.exe [90.1 MB] 2.hadoop.exe [663.5 MB] 14.streampark.exe [206.5 MB] 3.flume.exe [85.2 MB] 7.maxwell.exe [63.2 MB] 12.flink.exe [448.0 MB] 1.jdk.exe [186.3 MB]
- 代码.exe [544.3 KB]
- 笔记.exe [36.8 MB]
适合人群
- 大数据工程师
- 数据分析师
- Flink开发者
学习收获
掌握Flink实时数据处理技术
了解实时数仓架构设计
提升大数据项目实战能力
祝您学习愉快！
学有所成，前程似锦！
课程目录
课程目录184 集
- 001.教程简介.mp4
- 002.基础_数仓基本概念.mp4
- 003.基础_离线数仓架.mp4
- 004.基础_实时数仓架构.mp4
- 005.基础_ER模型和维度建模.mp4
- 006.基础_事实表和维度表.mp4
- 007.基础_数仓构建流程.mp4
- 008.基础_项目架构以及代码版本控制方式介绍.mp4
- 009.基础_IDEA开发环境搭建.mp4
- 010.环境准备_GitLab的安装.mp4
- 011.环境准备_GitLab的其它配置.mp4
- 012.环境准备_创建用户以及群组.mp4
- 013.环境准备_将初始代码推送到GitLab仓库.mp4
- 014.环境准备_设置Kafka分区数.mp4
- 015.ODS_日志数据采集.mp4
- 016.ODS_配置binlog记录业务数据变化.mp4
- 017.ODS_Maxwell的安装与配置.mp4
- 018.ODS_Maxwell同步数据测试.mp4
- 019.DIM_思路分析_基本流程.mp4
- 020.DIM_思路分析_引入配置表.mp4
- 021.DIM_思路分析_引入FlinkCDC.mp4
- 022.DIM_思路分析_配置表字段完善.mp4
- 023.DIM_FlinkCDC的使用.mp4
- 024.DIM_配置表的创建以及切换开发分支.mp4
- 025.DIM_开发思路分析.mp4
- 026.DIM_基本环境准备以及检查点设置.mp4
- 027.DIM_从Kafka主题中读取数据.mp4
- 028.DIM_转换流中数据类型以及Maxwell问题说明.mp4
- 029.DIM_使用FlinkCDC读取配置表数据.mp4
- 030.DIM_将配置流数据类型封装为实体类对象.mp4
- 031.DIM_封装HBaseUtil工具类.mp4
- 032.DIM_在HBase中建表.mp4
- 033.DIM_广播配置流并和主流进行关联.mp4
- 034.DIM_处理广播流数据.mp4
- 035.DIM_处理主流数据.mp4
- 036.DIM_过滤掉不需要传递的字段.mp4
- 037.DIM_主流数据先到问题分析.mp4
- 038.DIM_在open方法中预加载配置信息.mp4
- 039.DIM_将维度数据同步到HBase表中.mp4
- 040.DIM_封装FlinkSourceUtil工具类.mp4
- 041.DIM_抽取单独的处理函数类.mp4
- 042.DIM_抽取BaseApp基类.mp4
- 043.DIM_抽取方法.mp4
- 044.DIM_封装JdbcUtil工具类.mp4
- 045.DIM_DIM层总结.mp4
- 046.DWD_DWD层介绍.mp4
- 047.DWD_日志分流思路分析.mp4
- 048.DWD_开发思路分析.mp4
- 049.DWD_将脏数据放到侧输出流.mp4
- 050.DWD_创建KafkaSink对象以及Kafka一致性保证.mp4
- 051.DWD_抽取FlinkSinkUtil以及脏数据写到Kafka.mp4
- 052.DWD_新老访客标记修复思路.mp4
- 053.DWD_新老访客标记修复代码实现.mp4
- 054.DWD_埋点日志结构分析.mp4
- 055.DWD_分流代码实现.mp4
- 056.DWD_将不同流的数据写到Kafka主题.mp4
- 057.DWD_抽取方法以及提交代码到GitLab.mp4
- 058.DWD_评论事实表思路分析.mp4
- 059.DWD_FlinkAPI双流Join介绍.mp4
- 060.DWD_内连接.mp4
- 061.DWD_左外连接.mp4
- 062.DWD_右外连接以及全外连接.mp4
- 063.DWD_左外连接结果写到Kafka主题.mp4
- 064.DWD_从Kafka主题中读取数据.mp4
- 065.DWD_从HBase表中读取数据.mp4
- 066.DWD_lookupJoin关联.mp4
- 067.DWD_将关联结果写到Kafka主题.mp4
- 068.DWD_评论事实表开发思路以及环境准备.mp4
- 069.DWD_从topic_db主题中读取数据.mp4
- 070.DWD_过滤出评论数据.mp4
- 071.DWD_从Hbase中读取字典表数据.mp4
- 072.DWD_关联评论表和字典表.mp4
- 073.DWD_将关联的结果写到Kafka主题.mp4
- 074.DWD_抽取工具类封装获取连接器属性的方法.mp4
- 075.DWD_抽取BaseSQLApp基类以及通用的建表方法.mp4
- 076.DWD_加购事实表开发思路分析.mp4
- 077.DWD_过滤出insert类型的加购数据.mp4
- 078.DWD_过滤出update类型的加购数据以及写到Kafka.mp4
- 079.DWD_下单事实表思路分析.mp4
- 080.DWD_下单事实表代码实现.mp4
- 081.DWD_取消订单事实表整体实现.mp4
- 082.DWD_支付成功事实表思路分析.mp4
- 083.DWD_支付成功事实表代码实现.mp4
- 084.DWD_退单事实表整体实现(了解业务).mp4
- 085.DWD_退款成功事实表整体实现(了解业务).mp4
- 086.DWD_其它事实表实现思路分析.mp4
- 087.DWD_事实表动态分流思路.mp4
- 088.DWD_开发思路分析.mp4
- 089.DWD_业务数据以及配置表数据读取.mp4
- 090.DWD_在open方法中预加载配置信息.mp4
- 091.DWD_处理广播流中的配置信息.mp4
- 092.DWD_处理主流中的业务数据.mp4
- 093.DWD_将动态分流的事实表写到Kafka主题.mp4
- 094.DWS层介绍.mp4
- 095.Doris_Doris介绍.mp4
- 096.Doris_安装前准备工作.mp4
- 097.Doris_Doris安装以及FE的配置.mp4
- 098.Doris_BE的配置.mp4
- 099.Doris_FE与BE的扩容和缩容.mp4
- 100.Doris_基本概念.mp4
- 101.Doris_Aggregate模型.mp4
- 102.Doris_Unique模型和Duplicate模型.mp4
- 103.Doris_建表其它操作.mp4
- 104.Doris_Range分区.mp4
- 105.Doris_List分区以及分区相关概念.mp4
- 106.Doris_动态分区.mp4
- 107.Doris_Rollup表.mp4
- 108.Doris_物化视图.mp4
- 109.Doris_Flink读写Doris_SQL.mp4
- 110.Doris_Flink读写Doris_API.mp4
- 111.DWS_搜索关键词思路分析.mp4
- 112.DWS_分词工具类.mp4
- 113.DWS_自定义UDTF函数.mp4
- 114.DWS_开发思路分析.mp4
- 115.DWS_读取页面日志数据创建动态表.mp4
- 116.DWS_过滤出搜索行为.mp4
- 117.DWS_分词并和原表字段进行关联.mp4
- 118.DWS_分组、开窗、聚合计算.mp4
- 119.DWS_将聚合结果写到Doris.mp4
- 120.DWS_版本、渠道、地区、新老访客聚合统计思路分析.mp4
- 121.DWS_读取数据并封装为统计的实体类对象.mp4
- 122.DWS_指定Watermark的生成策略.mp4
- 123.DWS_分组、开窗.mp4
- 124.DWS_聚合.mp4
- 125.DWS_将聚合结果写到Doris中.mp4
- 126.DWS_首页、详情页聚合统计思路分析.mp4
- 127.DWS_首页、详情页聚合统计代码实现.mp4
- 128.DWS_独立用户以及回流用户聚合统计思路分析.mp4
- 129.DWS_独立用户以及回流用户聚合统计代码实现.mp4
- 130.DWS_加购独立用户思路分析.mp4
- 131.DWS_加购独立用户代码实现.mp4
- 132.DWS_SKU粒度下单聚合统计需求分析.mp4
- 133.DWS_SKU粒度下单聚合统计开发思路.mp4
- 134.DWS_从Kafka中读取数据并转换为JSON对象.mp4
- 135.DWS_状态+定时器实现去重.mp4
- 136.DWS_状态+抵消实现去重.mp4
- 137.DWS_封装为统计的实体类对象.mp4
- 138.DWS_分组、开窗、聚合计算以及测试可能遇到的问题.mp4
- 139.DWS_在HBaseUtil中封装查询维度的方法.mp4
- 140.DWS_维度关联最基本的实现方式.mp4
- 141.DWS_旁路缓存思路分析.mp4
- 142.DWS_封装RedisUtil工具类.mp4
- 143.DWS_在Redis工具类提供读写数据的方法.mp4
- 144.DWS_旁路缓存代码实现.mp4
- 145.DWS_维度数据发生变化清除缓存数据.mp4
- 146.DWS_关联SPU维度.mp4
- 147.DWS_抽取旁路缓存模板.mp4
- 148.DWS_通过旁路缓存模板关联SKU维度.mp4
- 149.DWS_异步IO介绍.mp4
- 150.DWS_封装异步操作Redis的方法.mp4
- 151.DWS_封装异步操作HBase的方法.mp4
- 152.DWS_发送异步请求关联Sku维度的基本实现.mp4
- 153.DWS_发送异步请求关联Spu维度以及抽取模板.mp4
- 154.DWS_发送异步关联维度模板代码实现.mp4
- 155.DWS_发送异步请求关联SKU维度.mp4
- 156.DWS_关联其它维度并将结果写到Doris.mp4
- 157.DWS_Sku粒度下单聚合统计总结.mp4
- 158.DWS_省份粒度下单聚合统计.mp4
- 159.DWS_去重.mp4
- 160.DWS_封装统计的实体类对象.mp4
- 161.DWS_分组、开窗、聚合计算.mp4
- 162.DWS_关联维度并将结果写到Doris.mp4
- 163.ADS_ADS层介绍.mp4
- 164.ADS_环境准备.mp4
- 165.ADS_总交易额统计思路分析.mp4
- 166.ADS_总交易额统计代码实现.mp4
- 167.ADS_总交易额大屏展示.mp4
- 168.ADS_省份交易额统计思路分析.mp4
- 169.ADS_省份交易额统计代码实现.mp4
- 170.ADS_渠道独立访客数统计思路分析.mp4
- 171.ADS_渠道独立访客数统计代码实现.mp4
- 172.ADS_渠道独立访客大屏展示以及常见错误避坑.mp4
- 173.ADS_总交易额实时展示.mp4
- 174.部署_打包.mp4
- 175.部署_部署前准备工作.mp4
- 176.部署_手动部署到服务器.mp4
- 177.部署_StreamPark介绍.mp4
- 178.部署_StreamPark安装.mp4
- 179.部署_StreamPark其它配置.mp4
- 180.部署_StreamPark中新建项目.mp4
- 181.部署_构建项目.mp4
- 182.部署_发布启动作业.mp4
- 183.部署_合并分支.mp4
- 184.教程总结.mp4
