人工精选基于Flink+ClickHouse构建亿级电商实时数据分析平台(PC、移动、小程序)
这门课解决什么工作场景 电商后台的报表需求往往有两个特点:指标维度多、要看得快。运营想看某类人群昨天在移动端加购却没付款的比例,风控想看某批账号短时间内下单频次是否异常,老板想看大促当天分渠道的成交走势。这些需求用离线跑批通常要等到第二天,用纯数据库直接查又扛不住亿级明细。这门课围绕的就是这个场景:
会员 A · 按档位折扣
会员 B
游客按标价购买,不享受上表折扣。
支付成功后自动发放网盘链接,链接失效可找客服免费补
这门课解决什么工作场景
电商后台的报表需求往往有两个特点:指标维度多、要看得快。运营想看某类人群昨天在移动端加购却没付款的比例,风控想看某批账号短时间内下单频次是否异常,老板想看大促当天分渠道的成交走势。这些需求用离线跑批通常要等到第二天,用纯数据库直接查又扛不住亿级明细。这门课围绕的就是这个场景:把用户行为数据接进来,经过实时计算落到能支撑快速查询的存储里,最终形成可以按人群、按渠道、按终端去筛的分析结果。终端覆盖 PC、移动和小程序,意味着埋点来源和标识打通这件事也会被带到,不是只跑一个干净的样例数据集。
适合什么基础,先看哪几块
课程默认你已经会写 SQL,能看懂 Java 或 Scala 的基本语法,对分布式组件有概念即可,不要求你之前搭过集群。如果只是听过 Flink 或 ClickHouse 的名字,直接上手项目部分会比较吃力,建议先把这两块的官方基础概念过一遍再回来。看资料的顺序上,先看数据接入与清洗这一段,搞清楚日志怎么变成结构化事件、用户标识怎么对齐;再看实时计算部分,重点是窗口、状态和迟到数据的处理思路,这部分决定你能不能把指标算对;最后看存储与查询部分,也就是建表、分区、聚合方式的选择。用户画像那条线不要一上来就钻进去,它依赖前面的数据链路跑通,先把主流程走完再回头看标签体系会更顺。
学完能独立做什么,资料怎么配合练习
走完一遍之后,你应该能独立搭起一条从数据采集到实时指标输出的链路,能自己定义几个业务指标并把它算出来,能针对查询慢的问题去调整存储结构,而不是只会照着代码抄。具体一点,比如独立完成一个分终端的实时转化看板,或者给一批用户打上行为标签并支持按标签筛选。练习建议不要只看视频,每看完一个模块就自己换一份数据重跑,尤其是把时间窗口和维度换掉,看结果是否符合预期。遇到报错先回到数据源和状态这两处排查,多数问题出在乱序和重复上。这套资料的价值在于它给了一条完整的、带真实业务约束的链路,但真正掌握靠的是你把它拆开、换参数、再拼回去。如果只是想快速了解 Flink 和 ClickHouse 各自能做什么,看前半部分的数据接入和查询就够了,不必强求全部跑完。
课程目录
课程目录156 集
- 用户画像作为大数据的根基,它抽象出一个用户的信息全貌,为进一步精准、快速地分析用户行为习惯、消费习惯等重要信息,提供了足够的数据基础,奠定了大数据时代的基石。 用户画像,即用户信息标签化,就是企业通过收集与分析消费者社会属性、生活习惯、消费行为等主要信息的数据之后,抽象出一个用户的商业全貌作是企业应用大数据技术的基本方式。用户画像为企业提供了足够的信息基础,能够帮助企业快速找到精准用户群体以及用户需求等更为广泛的反馈信息。 用户画像系统能很好地帮助企业分析用户的行为与消费习惯,可以预测商品的发展的趋势,提高产品质量,同时提高用户满意度。构建一个用户画像,包括数据源端数据收集、数据预处理、行为建模、构建用户画像。有些标签是可以直接获取到的,有些标签需要通过数据挖掘分析到!本套课程会带着你一步一步的实现用户画像案例,掌握了本套课程内容,可以让你感受到Flink+ClickHouse技术架构的强大和大数据应用的广泛性。 在这个数据爆发的时代,像大型电商的数据量达到百亿级别,我们往往无法对海量的明细数据做进一步层次的预聚合,大量的业务数据都是好几亿数据关联,并且我们需要聚合结果能在秒级返回。 包括我们的画像数据,也是有这方便的需求,那怎么才能达到秒级返回呢?ClickHouse正好满足我们的需求,它是非常的强大的。 本课程采用Flink+ClickHouse技术架构实现我们的画像系统,通过学习完本课程可以节省你摸索的时间,节省企业成本,提高企业开发效率。希望本课程对一些企业开发人员和对新技术栈有兴趣的伙伴有所帮助,如对我录制的教程内容有建议请及时交流。项目中采用到的算法包含Logistic Regression、Kmeans、TF-IDF等,Flink暂时支持的算法比较少,对于以上算法,本课程将带大家用Flink实现,并且结合真实场景,学完即用。 目录: 1 1、课程说明.mp4
- 2 2、课程价值说明.mp4
- 3 3、数据采集服务构建.mp4
- 4 4、Spring Cloud Eureka构建服务注册中心.mp4
- 5 5、日志数据结构深度讲解.mp4
- 6 6、数据采集服务完善以及客户端数据上报实战.mp4
- 7 7、kafka环境搭建以及kafka联调测试.mp4
- 8 8、数据采集服务整合kafka.mp4
- 9 9、flink部署以及任务提交讲解.mp4
- 10 10、flink+kafka构建实时分析服务.mp4
- 11 11、flink+kafka构建实时分析服务联调测试以及效果演示.mp4
- 12 12、hadoop环境搭建.mp4
- 13 13、ClickHouse 初识讲解.mp4
- 14 14、ClickHouse安装详解以及简单使用讲解.mp4
- 15 15、ClickHouse数据类型以及常用操作实战.mp4
- 16 16、ClickHouse java使用讲解1.mp4
- 17 17、ClickHouse java使用讲解2.mp4
- 18 18、日志数据完善优化讲解.mp4
- 19 19、数据收集服务优化完善.mp4
- 20 20、hbase环境安装.mp4
- 21 21、hbase 工具类代码编写以及联调测试.mp4
- 22 22、用户状态设计讲解.mp4
- 23 23、数据收集服务业务处理.mp4
- 24 24、新增用户状态封装代码编写.mp4
- 25 25、用户多终端活跃状态封装代码编写.mp4
- 26 26、日期工具代码编写以及数据收集服务业务处理代码完善.mp4
- 27 27、全站流量分析访问次数分钟级map代码编写.mp4
- 28 28、全站流量分析访问次数分钟级浏览量reduce以及sink代码编写.mp4
- 29 29、全站流量分析新增用户分钟级趋势代码编写.mp4
- 30 30、全站流量分析多时间周期活跃用户分钟级趋势代码编写.mp4
- 31 31、全站流量分析分钟级用户趋势以及分钟级用户去重代码编写.mp4
- 32 32、全站流量分析小时级趋势分析代码编写以及巧妙代码重构.mp4
- 33 33、全站流量趋势分析完善补充.mp4
- 34 34、全站流量分析时间间隔处理代码编写.mp4
- 35 35、flink自定义输出路径BucketingSink.mp4
- 36 36、flink事件数据规则自定义输出路径代码编写以及效果演示.mp4
- 37 37、flink自定义输出路径StreamingFileSink代码编写以及效果演示.mp4
- 38 38、全站流量分析之flink实现用户小时级明细map代码编写.mp4
- 39 39、全站流量分析之flink实现小时级明细reduce以及filesink代码编写.mp4
- 40 40、全站流量分析之flink实现小时级明细分区路径优化代码编写.mp4
- 41 41、hive安装实战.mp4
- 42 42、hive使用详解.mp4
- 43 43、Hive JsonSerde实战讲解 .mp4
- 44 44、全站流量分析小时级用户明细联调测试.mp4
- 45 45、全站流量分析小时级用户明细bug调试以及问题解决实战讲解.mp4
- 46 46、hive 分区表实战讲解.mp4
- 47 47、linux shell编程讲解.mp4
- 48 48、linux crontab实战讲解.mp4
- 49 49、全站流量用户明细hive区分表以及添加分区实现.mp4
- 50 50、全站流量用户明细定时任务脚本编写以及定时任务设定.mp4
- 51 51、渠道分析数据以及指标讲解.mp4
- 52 52、渠道分析分钟级访问次数趋势代码编写.mp4
- 53 53、渠道分析分钟级新增以及活跃用户趋势代码编写.mp4
- 54 54、渠道分析小时级分析代码编写.mp4
- 55 55、渠道分析之小时级用户明细代码编写.mp4
- 56 56、渠道分析趋势代码完善.mp4
- 57 57、渠道分析之用户明细hive表构建以及定时任务脚本编写以及定时任务设定.mp4
- 58 58、业务数据结构讲解.mp4
- 59 59、业务数据同步之binlog讲解.mp4
- 60 60、业务数据同步之binlog日志查看.mp4
- 61 61、业务数据同步之canal讲解.mp4
- 62 62、业务数据同步之canal+kafka实时同步业务数据.mp4
- 63 63、业务数据同步之实战联调讲解1.mp4
- 64 64、业务数据同步之实战联调讲解2.mp4
- 65 65、业务数据同步之实战联调讲解3.mp4
- 66 66、flink+fastJson实时处理binlog数据代码编写.mp4
- 67 67、flink+反射技术实时业务数据提取和存储.mp4
- 68 68、kafka 工具类代码编写.mp4
- 69 69、业务数据重定向各个业务topic.mp4
- 70 70、业务数据实时重定向实战联调演示.mp4
- 71 71、广告分析之分钟级点击量趋势.mp4
- 72 72、广告分析之用户趋势实时分析代码编写.mp4
- 73 73、广告分析之小时级用户明细代码编写.mp4
- 74 74、广告分析之用户明细hive定时离线导入.mp4
- 75 75、flink之Join详解.mp4
- 76 76、flink之Join实战代码编写.mp4
- 77 77、flink之Join实战效果联调测试.mp4
- 78 78、广告分析之广告转化率实时分析代码编写1.mp4
- 79 79、广告分析之广告转化率实时分析代码编写2.mp4
- 80 80、ClickHouse业务表构建.mp4
- 81 81、ClickHouse工具类封装数据转换sql代码编写.mp4
- 82 82、ClickHouse工具类封装数值类型特殊转换代码编写.mp4
- 83 83、ClickHouse工具类结合jdbc实战调试数据转换和数据存储.mp4
- 84 84、flink ClickHouseSink代码完善.mp4
- 85 85、spring boot 2.x 构建后端接口服务.mp4
- 86 86、vue.js构建前端项目1.mp4
- 87 87、vue.js构建前端项目2.mp4
- 88 88、vue 前端项目模板说明.mp4
- 89 89、前端系统之vue.js+highcharts构建图表实战.mp4
- 90 90、前端系统之全站流量趋势新增用户趋势实战开发.mp4
- 91 91、前端系统之vue表格实战.mp4
- 92 92、前端系统之vue-resource实现后台交互实战.mp4
- 93 93、前端系统vue代码完善以及后端接口设计和代码编写.mp4
- 94 94、前端系统联调后端接口服务实战讲解.mp4
- 95 95、前端系统vue代码调试以及跨域问题解决.mp4
- 96 96、前端系统之highchart点击事件实战讲解.mp4
- 97 97、vue 动态参数传递以及页面内部跳转讲解.mp4
- 98 98、clickhouse表结构优化以及flink sink代码优化.mp4
- 99 99、flink日期特殊处理.mp4
- 100 100、接口服务整合clickhouse代码编写.mp4
- 101 101、接口服务封装clickhouse查询结果以及数据联调效果演示.mp4
- 102 102、接口服务之map和set巧妙解决日期乱序数据日期不对称问题.mp4
- 103 103、接口服务之代码坑讲解以及解决.mp4
- 104 104、后端数据联调前端项目实战演示.mp4
- 105 105、接口服务整合hive之hive工具类代码编写.mp4
- 106 106、后端数据服务整合hive代码编写.mp4
- 107 107、压力测试jemeter详解.mp4
- 108 108、flink实时分析系统jemeter压测实战.mp4
- 109 109、接口服务以及前端系统完善之全站点击量趋势.mp4
- 110 110、接口服务以及前端系统之全站流量用户数量趋势.mp4
- 111 111、接口服务以及前端系统之全站流量活跃用户趋势.mp4
- 112 112、接口服务以及前端系统完善之渠道分析.mp4
- 113 113、接口服务之广告分析点击趋势和用户趋势代码编写.mp4
- 114 114、广告分析之广告列表服务以vue 点击事件以及自定义函数及前端开发.mp4
- 115 115、广告分析之广告转化率接口以及前端代码编写.mp4
- 116 116、广告分析之广告用户明细接口以及前端代码编写.mp4
- 117 117、docker 部署实时分析服务之docker安装.mp4
- 118 118、docker 部署实时分析服务之dockerfile讲解.mp4
- 119 119、docker部署全流量分析服务实战1.mp4
- 120 120、docker部署全流量分析服务实战2.mp4
- 121 121、docker部署全流量分析服务实战3.mp4
- 122 122、订单分析之订单量趋势分钟级代码编写.mp4
- 123 123、订单分析之订单量趋势小时级代码编写.mp4
- 124 124、订单分析之订单用户趋势代码编写.mp4
- 125 125、订单分析之客单价分析代码编写.mp4
- 126 126、订单分析完善之clickhouse建表补充.mp4
- 127 127、运营分析表结构讲解.mp4
- 128 128、运营分析之团购商品类别趋势分钟级代码编写.mp4
- 129 129、运营分析之团购商品类别趋势小时级完善补充.mp4
- 130 130、运营分析之团购订单趋势代码编写.mp4
- 131 131、运营分析之团购用户趋势代码编写.mp4
- 132 132、运营分析之团购用户趋势代码编写补充讲解.mp4
- 133 133、运营分析之秒杀成交订单趋势分钟级代码编写.mp4
- 134 134、运营分析之秒杀成交订单趋势小时级代码编写.mp4
- 135 135、运营分析之秒杀支付类型趋势代码编写.mp4
- 136 136、运营分析之秒杀clickhouse表构建补充.mp4
- 137 137、运营分析之活动地域趋势分析代码编写.mp4
- 138 138、运营分析之指定活动订单趋势代码编写.mp4
- 139 139、订单分析后端服务之订单趋势以及用户趋势接口代码编写.mp4
- 140 140、订单分析后端服务之客单价接口代码编写.mp4
- 141 141、团购分析后端服务接口代码编写1.mp4
- 142 142、团购分析后端服务接口代码编写2.mp4
- 143 143、秒杀活动分析后端服务接口代码编写.mp4
- 144 144、指定活动分析后端服务接口代码编写.mp4
- 145 145、订单分析前端代码开发.mp4
- 146 146、团购分析前端代码开发.mp4
- 147 147、秒杀分析以及活动分析前端代码开发讲解.mp4
- 148 148、clickhouse实现实时概况统计实战1.mp4
- 149 149、clickhouse实现实时概况统计实战2.mp4
- 150 150、前端项目完善1.mp4
- 151 151、前端项目完善2.mp4
- 152 152、课程总结.mp4
- 153 153、项目最终效果演示.mp4
- 代码.rar 第1部分资料.zip
- 第2部分资料.zip
- 第3部分资料.zip





