这套实时数仓课值不值得学

很多做后端、做数据开发或正转行大数据的人,常碰到一个痛点:离线数仓跑得熟,但一碰实时业务就卡壳。离线能靠Hive慢慢算,实时却要求秒级出指标,数据一乱,业务方马上就来催。这套以Flink和Doris为主线的资料,解决的就是“怎么把PC、移动、小程序多端流量,稳定、低延迟地汇总成实时指标”这个场景。它没有停在讲理论,而是把一套企业级实时数仓从零搭起来,涵盖数据接入、实时计算、存储到服务暴露的完整链路。如果你正卡在“知道Flink能算,但不知道怎么拼成可用系统”这一步,这套内容值得花时间。

适合什么基础,建议先看哪几块

这套内容不适合完全零基础。它默认你对Linux基本命令、SQL、Java或Spring系后端有概念,最好接触过Hadoop生态。资料里环境搭建占了一定比重,从Zookeeper、Hadoop到Kafka、Hbase、Hive、MySQL。如果你已有环境,这部分可快进;如果没有,建议照着配一遍,因为实时数仓的坑大多在组件协同上,不在算子本身。建议先看“项目构建”和“课程价值说明”这两块,把全链路架构图印在脑子里,再进入“流量域业务数据结构讲解”。先搞清楚数据从哪来、长什么样,再去看Flink怎么处理,顺序别反。

学完能独立做什么,资料怎么配合练习

学完这套,你应当能独立承接一个多端实时数仓项目:从多端日志采集接入,到Flink实时清洗与维表关联,再到Doris里建表、导入与查询,最后用Spring Cloud把指标服务暴露出去。学的时候不要只看视频,一定要把资料包里的环境脚本和代码配合着跑。我的建议是:先跟着把单链路跑通,从采集到Doris出一张实时报表;然后自己改一个业务域,比如把交易数据换成内容曝光数据,试着自己调Flink SQL和Doris表模型。能自己换一版业务跑通,才算把这套资料吃透,而不是照抄了一遍。


数据涵盖全端(PC、移动、小程序),与互联网企业大数据技术同步,大数据企业级实时数据仓库的经验。

课程目录

*   01 1、实时数仓之课程说明.mp4 07:29

*   02 2、实时数仓之课程价值说明.mp4 04:23

*   03 3、实时数仓项目构建.mp4 05:37

*   04 4、Zookeeper环境安装.mp4 05:48

*   05 5、hadoop环境构建.mp4 08:49

*   06 6、kafka环境构建.mp4 06:22

*   07 7、hbase环境构建.mp4 12:35

*   08 8、mysql环境构建.mp4 06:27

*   09 9、hive环境构建.mp4 06:08

*   10 10、springboot讲解以及构建web应用.mp4 11:38

*   11 11、Spring Cloud注册中心构建.mp4 05:59

*   12 12、数据接入层之流量域业务数据结构讲解.mp4 13:09

*   13 13、数据接入层之数据采集服务以及整合kafka开发.mp4 18:23

*   14 14、数据接入层之数据采集服务以及整合kafka开发补充.mp4 01:34

*   15 15、dorisdb安装1.mp4 11:21

*   16 16、dorisdb安装2.mp4 09:19

*   17 17、DorisDb基本概念以及使用讲解.mp4 11:00

*   18 18、DorisDB数据模型实战讲解.mp4 10:05

*   19 19、DorisDB之Broker 部署实战.mp4 04:18

*   20 20、DorisDB之Rollup实战讲解.mp4 07:08

*   21 21、DorisDB之动态分析表实战讲解.mp4 11:35

*   22 22、实时数仓之分层模型讲解.mp4 07:48

*   23 23、实时数仓之ODS层流量域建模.mp4 40:09

*   24 24、实时数仓之DWD层流量域建模.mp4 16:22

*   25 25、实时数仓之DWM层流量域建模.mp4 09:44

*   26 26、实时数仓之DWS层流量域建模.mp4 07:58

*   27 27、实时数仓之App层流量域建模.mp4 05:18

*   28 28、实时数仓之dwm、dws、app层建模优化.mp4 15:49

*   29 29、实时数仓之流量日志优化.mp4 03:20

*   30 30、flink实时分析服务构建.mp4 06:47

*   31 31、实时数仓之ODS层实时转换实战1.mp4 18:59

*   32 32、实时数仓之ODS层实时转换实战2.mp4 11:59

*   33 33、实时数仓之DWD层实时转换实战1.mp4 15:19

*   34 34、实时数仓之DWD层实时转换实战2.mp4 11:55

*   35 35、实时数仓之DWD层实时转换实战3.mp4 06:50

*   36 36、实时数仓之DWM层实时转换实战1.mp4 15:41

*   37 37、实时数仓之DWM层实时转换实战2.mp4 10:33

*   38 38、实时数仓之DWM层实时转换实战3.mp4 23:53

*   39 39、实时数仓之DWM层实时转换实战4.mp4 10:31

*   40 40、实时数仓之DWS层实时转换之用户主题设备分析map开发.mp4 20:49

*   41 41、实时数仓之DWS层实时转换之用户主题map开发2.mp4 12:20

*   42 42、实时数仓之DWS层实时转换之商品主题map开发.mp4 09:34

*   43 43、实时数仓之DWS层实时转换之商品主题reduce开发.mp4 09:49

*   44 44、实时数仓之DWS层实时转换之商品主题reduce开发.mp4 05:04

*   45 45、实时数仓之DWS层实时转换之sink开发.mp4 06:04

*   46 46、实时数仓之DWS层实时转换之主体分析代码开发.mp4 04:35

*   47 47、实时数仓之APP层购物车分析map代码编写.mp4 25:12

*   48 48、实时数仓之APP层设备分析map代码编写.mp4 14:20

*   49 49、实时数仓之APP层reduce代码编写.mp4 07:02

*   50 50、实时数仓之APP层sink以及主题分析代码编写.mp4 13:22

*   51 51、实时数仓之前端vue项目构建.mp4 09:15

*   52 52、实时数仓之vue整合Highcharts实战.mp4 10:25

*   53 53、实时数仓之vue整合vue-resource实现动态加.mp4 14:05

*   54 54、实时数仓之购物车分析指标开发.mp4 16:20

*   55 55、实时数仓之终端分析指标开发.mp4 08:01

*   56 56、实时数仓之交易域ODS层建模.mp4 14:32

*   57 57、实时数仓之交易域DWD层建模.mp4 06:36

*   58 58、实时数仓之交易域DWM层建模1.mp4 04:31

*   59 59、实时数仓之交易域DWM层建模2.mp4 07:00

*   60 60、实时数仓之交易域DWS层建模1.mp4 05:34

*   61 61、实时数仓之交易域DWS层建模2.mp4 06:02

*   62 62、实时数仓之交易域App层建模.mp4 06:33

*   63 63、实时数仓之交易域ODS层实时转换.mp4 09:15

*   64 64、实时数仓之交易域DWD、DWM层实时转换1.mp4 16:29

*   65 65、实时数仓之交易域DWD、DWM层实时转换2.mp4 05:46

*   66 66、实时数仓之交易域DWS层实时转换用户主题map代码编写.mp4 18:02

*   67 67、实时数仓之交易域DWS层实时转换商品主题map代码编写.mp4 09:32

*   68 68、实时数仓之交易域DWS层实时转换reduce代码 编写.mp4 06:07

*   69 69、实时数仓之交易域DWS层实时转换sink代码编写.mp4 02:34

*   70 70、实时数仓之交易域App层实时转换map代码编写.mp4 12:15

*   71 71、实时数仓之交易域App层实时转换reduce和sink.mp4 05:30

*   72 72、实时数仓之交易域App层主体分析类代码编写.mp4 14:08

*   73 73、实时数仓之交易域分析前端开发.mp4 13:25

*   74 74、实时数仓之交易域分析后端接口以及联调.mp4 10:45

*   75 75、实时数仓之binlog讲解.mp4 06:50

*   76 76、实时数仓之binlog使用以及查看.mp4 03:33

*   77 77、实时数仓之canal讲解.mp4 03:56

*   78 78、实时数仓之canal安装以及整合kafka实战.mp4 11:50

*   79 79、实时数仓之业务数据实时转换服务实战.mp4 07:02

*   80 80、实时数仓之dorisdb工具代码编写.mp4 18:45

*   81 81、实时数仓之sink代码优化.mp4 16:34

*   82 82、实时数仓之流量域、交易域后端接口完善.mp4 13:42

*   83 83、实时数仓之hbase工具代码编写.mp4 12:35

*   84 84、实时数仓之对象复制和转换等工具类代码编写.mp4 11:31

*   85 85、实时数仓之flume实时同步数仓数据实战.mp4 16:01

*   86 86、实时数仓之商品域实战代码讲解.mp4 41:56

*   87 87、实时数仓之Echarts+DATAV构建实时大屏前后端.mp4 26:39

*   88 88、实时数仓之整体联调效果演示.mp4 26:40

*   89 89、实时数仓之代码和整体架构总结讲解.mp4 12:47

*   90 结课测试