这门课解决什么问题

这门课聚焦的是电商场景下“亿级数据实时看”的痛点。日常工作中,很多团队做数据统计还停留在跑批阶段:凌晨开始算昨天的订单、流量、转化,业务方看数据永远是滞后的。一旦遇到大促,想实时盯盘根本来不及。这门课围绕 Flink 做实时流处理、Doris 做实时数仓和查询这条主线,把 PC、移动端、小程序多端的数据采集、处理、存储、展示整个链路串起来。它解决的不是单一工具的使用,而是“数据怎么进、怎么算、怎么存得快、怎么查得快”这一整套工程问题。如果你所在的公司在做实时大屏、实时风控,或者想从离线数仓往实时方向转,这套方案的落地参考价值比较直接。

适合什么基础,建议先看哪几块

这门课不是零基础启蒙。它默认你对 Java 有基本概念,能看懂 SQL,最好写过简单的 Hadoop 生态作业。如果完全没碰过分布式环境,上来就跟着搭集群会容易卡在环境依赖上。建议的阅读顺序是:先看课程说明和价值说明两节,把“为什么用 Flink+Doris”这个逻辑理清,再跳到整体项目构建那节看架构全貌。环境构建部分(Zookeeper、Hadoop、Kafka、HBase、MySQL、Hive)可以当作操作手册,按需查阅,不必一次性全跟完。重点放在 Flink 怎么接 Kafka、数据怎么写进 Doris、SpringBoot 怎么做查询服务这几块,它们是整个链路的核心环节。

学完能独立做什么,资料怎么配合练习

学完之后,你应该能独立搭起一套多端数据实时采集到查询的系统:前端埋点数据经 Kafka 接入,Flink 做清洗和实时聚合,结果落 Doris,再用 SpringBoot 封装接口供前端调用。这套东西可以直接改造成公司内部的实时看板。练习时,资料包里的代码和环境配置不要只看不动手。建议先在自己机器上跑通最小链路:一个数据源、一个 Flink 任务、一个 Doris 表、一个查询接口。跑通之后再逐步加 HBase 做维度表、加 Hive 做离线补充。多端数据收集服务那块,可以拿自己造的测试数据模拟,不必等真实业务流量。关键是亲手把数据从产生到展示走一遍,不然看懂和能做之间差得很远。


整个课程,会带大家实践一个完整系统,大家可以根据自己的公司业务修改,既可以用到项目中去,价值较大。

课程目录

*   01 1、Flink+Doris课程说明.mp4 07:42

*   02 2、Flink+Doris课程价值说明.mp4 03:31

*   03 3、整体项目构建.mp4 03:36

*   04 4、Zookeeper环境安装.mp4 05:48

*   05 5、Hadoop环境构建.mp4 08:49

*   06 6、Kafka环境构建.mp4 06:22

*   07 7、Hbase环境构建.mp4 12:35

*   08 8、MySQL环境构建.mp4 06:27

*   09 9、Hive环境构建.mp4 06:08

*   10 10、SpringBoot讲解以及构建web应用.mp4 11:38

*   11 11、Spring Cloud注册中心构建.mp4 05:59

*   12 12、数据收集服务构建.mp4 08:05

*   13 13、埋点日志结构讲解以及实体构建.mp4 06:41

*   14 14、上报服务整合kafka.mp4 15:26

*   15 15、上报服务整合kafka补充.mp4 01:05

*   16 16、Flink实时分析服务构建.mp4 06:47

*   17 17、DorisDB讲解以及安装.mp4 13:16

*   18 18、DorisDB基础概念与使用实战讲解.mp4 11:23

*   19 19、DorisDB数据模型实战讲解.mp4 10:55

*   20 20、DorisDB之Rollup实战讲解.mp4 04:20

*   21 21、DorisDB之Broker 部署实战讲解.mp4 04:36

*   22 22、AB版指标分析之产品等级pv趋势map代码编写.mp4 20:29

*   23 23、AB版指标分析之产品等级pv趋势reduce以及sin.mp4 11:22

*   24 24、AB版指标分析之产品类别pv趋势补充.mp4 03:26

*   25 25、AB版指标分析之pv整体趋势代码编写.mp4 08:07

*   26 26、AB版指标分析之uv趋势分析代码编写.mp4 17:51

*   27 27、Binlog讲解.mp4 06:50

*   28 28、Binlog使用以及查看.mp4 03:33

*   29 29、Canal讲解.mp4 03:56

*   30 30、Canal安装以及整合kafka实战.mp4 19:27

*   31 31、分析表结构构建.mp4 08:38

*   32 32、dorisDB工具类代码编写.mp4 14:26

*   33 33、前端vue项目构建.mp4 10:51

*   34 34、vue整合Highcharts实战.mp4 10:08

*   35 35、vue整合vue-resource实现动态加载.mp4 14:14

*   36 36、vue整合后端接口服务代码编写.mp4 14:38

*   37 37、 vue联调后端接口.mp4 18:30

*   38 38、 vue联调后端接口补充.mp4 06:20

*   39 39、下砖分析前端开发1.mp4 16:39

*   40 40、下砖分析前端开发2.mp4 15:38

*   41 41、下砖分析接口开发1.mp4 22:33

*   42 42、下砖分析接口开发2.mp4 22:13

*   43 43、下砖分析接口开发3以及效果演示.mp4 13:55

*   44 44、hbase工具类开发.mp4 15:03

*   45 45、业务数据构建.mp4 15:09

*   46 46、实时数据转换服务开发.mp4 14:59

*   47 47、反射技术实现数据转换工具开发.mp4 08:12

*   48 48、kafka工具开发.mp4 08:38

*   49 49、终端流量分析日志实体完善.mp4 10:02

*   50 50、终端流量分析代码编写.mp4 09:36

*   51 51、终端用户趋势分析代码编写.mp4 06:37

*   52 52、营销流量分析代码编写.mp4 16:08

*   53 53、营销成交分析代码编写.mp4 07:36

*   54 54、订单趋势分析代码编写.mp4 18:22

*   55 55、ABtest指标分析完善.mp4 06:18

*   56 56、Abtest指标分析service层代码完善1.mp4 33:28

*   57 57、Abtest指标分析service层代码完善2.mp4 17:28

*   58 58、Abtest指标分析service层代码完善3.mp4 28:14

*   59 59、营销分析、订单分析、终端分析前端代码讲解以及效果演示.mp4 15:02

*   60 60、营销分析、订单分析、终端分析后端接口开发以及联调效果演.mp4 18:17

*   61 61、营销分析接口完善.mp4 22:12

*   62 62、订单分析接口完善.mp4 06:40

*   63 63、终端分析接口完善.mp4 07:22

*   64 64、doris业务表构建实战.mp4 16:07

*   65 65、dorisdb工具优化以及业务sink优化.mp4 11:46

*   66 66、业务接口优化.mp4 07:18

*   67 67、业务sql优化.mp4 23:44

*   68 68、日期工具类开发.mp4 05:51

*   69 69、flume讲解以及同步kafka数据建立数据仓库实战.mp4 18:30

*   70 70、flume讲解以及同步kafka数据建立数据仓库实战补.mp4 02:34

*   71 71、整体联调以及效果演示.mp4 11:17

*   72 72、整体联调以及效果演示2.mp4 08:29

*   73 73、课程总结.mp4 07:40