这门课解决什么问题

很多做业务数据或后端的人常遇到这种场景:业务跑了一两年,日志和订单表涨到几亿行,原本用传统关系型数据库跑个分组聚合,等十几分钟才出结果,老板要看实时大屏根本不现实。这套资料的主题就是用 Kettle 做数据抽取与清洗,用 ClickHouse 做海量数据的存储与秒级聚合查询,再用 Superset 把结果做成可视化看板,搭出一个能扛住亿级数据量、覆盖全端应用(PC、移动、小程序)行为的实时分析平台。它解决的核心痛点是:数据量大跑不动、报表更新慢、多端数据散落没法统一看。如果你目前的工作只是用 Excel 或单机数据库做分析,遇到数据量一上来就卡壳,那这套组合方案值得花时间研究。

适合什么基础,建议先看哪几块

这套资料不适合完全零基础的人。它默认你写过 SQL、知道数据库的基本概念,最好接触过一两门脚本语言。如果你连 select 语句都写不顺,建议先补基础再来。对于符合基础要求的读者,建议先看课程说明和 Kettle 的初识与安装部署部分,把工具跑起来;然后重点看 Kettle 各种数据源输入(文本、Excel、CSV、XML、JSON、表输入)和输出的操作,这是后续做数据清洗流转的地基。ClickHouse 和 Superset 的部分虽然资料线索里没展开,但它们是整个平台的核心,学的时候要把 ClickHouse 的表引擎选型、分布式表概念搞清楚,再去看 Superset 怎么连接数据源、做图表和看板。

资料怎么配合练习,学完能独立做什么

看视频时不要只跟着点界面,一定要自己准备一份测试数据,哪怕是几万行的模拟日志,按课里的步骤从 Kettle 抽取、转换、加载到 ClickHouse,再用 Superset 接上做几张图。每一步都跑通了,才算真学会。Kettle 的输入输出组件是高频操作,建议多拿不同格式的文件练手,熟悉字段映射、类型转换和错误处理。学完这套东西,你能独立搭一套从数据采集到可视化的完整链路:把多端应用的日志或业务数据用 Kettle 抽出来清洗,写进 ClickHouse,然后在 Superset 里配图表、拼大屏,给业务方提供一个能秒级响应的数据分析平台。这个能力对做数据开发、后端转数据方向,或者在业务团队里承担数据基建角色的人,都有实际落地价值。


能承载海量数据的实时分析,数据分析涵盖全端(PC、移动、小程序)应用。

课程目录

*   01 0、实时分析平台课程说明.mp4 06:51

*   02 1、实时分析平台之Kettle初识讲解.mp4 07:29

*   03 2、实时分析平台之Kettle安装部署.mp4 06:13

*   04 3、实时分析平台之Kettle文本文件输入.mp4 07:35

*   05 4、实时分析平台之Kettle Excel文件输入.mp4 03:31

*   06 5、实时分析平台之Kettle csv文件输入.mp4 05:35

*   07 6、实时分析平台之Kettle文件XML输入.mp4 05:28

*   08 7、实时分析平台之Kettle文件JSON输入.mp4 08:56

*   09 8、实时分析平台之Kettle表输入.mp4 08:03

*   10 9、实时分析平台之kettle excel文件输出.mp4 04:42

*   11 10、实时分析平台之kettle文本文件输出.mp4 03:15

*   12 11、实时分析平台之kettle sql文件输出.mp4 03:22

*   13 12、实时分析平台之kettle 表输出.mp4 03:22

*   14 13、实时分析平台之kettle 表数据更新.mp4 03:18

*   15 14、实时分析平台之kettle表数据插入更新.mp4 03:21

*   16 15、实时分析平台之kettle表数据删除.mp4 04:02

*   17 16、实时分析平台之kettle Switch-case控件.mp4 04:32

*   18 17、实时分析平台之kettle 数据过滤控件实战.mp4 04:33

*   19 18、实时分析平台之kettle 空操作控件实战.mp4 02:41

*   20 19、实时分析平台之kettle 增加常量控件实战.mp4 02:46

*   21 20、实时分析平台之kettle 增加序列控件实战.mp4 02:33

*   22 21、实时分析平台之kettle 值映射控件实战.mp4 05:26

*   23 22、实时分析平台之kettle 终止控件实战.mp4 05:10

*   24 23、实时分析平台之zookeeper环境安装.mp4 05:48

*   25 24、实时分析平台之hadoop环境构建.mp4 08:49

*   26 25、实时分析平台之kafka环境构建.mp4 06:22

*   27 26、实时分析平台之hbase环境构建.mp4 12:35

*   28 27、实时分析平台之kettle kafka插件安装.mp4 04:01

*   29 28、实时分析平台之kettle kafka流应用控件实战.mp4 05:43

*   30 29、实时分析平台之kettle java代码脚本控件实战.mp4 15:34

*   31 30、实时分析平台之业务结构讲解以及表构建1.mp4 13:49

*   32 31、实时分析平台之之业务结构讲解以及表构建2.mp4 06:54

*   33 32、实时分析平台之业务结构讲解以及表构建3.mp4 04:24

*   34 33、实时分析平台之业务结构实体构建1.mp4 08:26

*   35 34、实时分析平台之业务结构实体构建2.mp4 06:20

*   36 35、实时分析平台之业务结构实体构建3.mp4 04:22

*   37 36、实时分析平台之操作日志结构讲解.mp4 04:31

*   38 37、实时分析平台之hbase 工具封装代码讲解.mp4 14:58

*   39 38、实时分析平台之数据收集服务构建.mp4 12:49

*   40 39、实时分析平台之用户状态数据处理.mp4 10:06

*   41 40、实时分析平台之clickhouse讲解.mp4 05:42

*   42 41、实时分析平台之clickhouse环境安装.mp4 13:08

*   43 42、实时分析平台之ClickHouse 数据类型以及常用操.mp4 06:41

*   44 43、实时分析平台之Clickhouse java使用实战讲.mp4 07:20

*   45 44、实时分析平台之kettle 集成 clickhouse.mp4 03:42

*   46 45、实时分析平台之kettle clickhouse配置.mp4 04:01

*   47 46、实时分析平台之kettle json输出实战.mp4 04:32

*   48 47、实时分析平台之kettle clickhouse数据处.mp4 07:50

*   49 48、实时分析平台之kettle clickhouse数据处.mp4 09:30

*   50 49、实时分析平台之superset讲解.mp4 04:46

*   51 50、实时分析平台之superset环境安装实战.mp4 07:51

*   52 51、实时分析平台之Superset 使用实战.mp4 13:39

*   53 52、实时分析平台之流量新增用户数据解析提取1.mp4 12:58

*   54 53、实时分析平台之流量新增用户数据解析提取2.mp4 15:50

*   55 54、实时分析平台之流量新增用户数据解析提取3.mp4 03:28

*   56 55、实时分析平台之流量新增用户数据过滤.mp4 03:56

*   57 56、实时分析平台之流量新增用户数据常量设置.mp4 05:21

*   58 57、实时分析平台之流量新增用户数据序列设置.mp4 04:07

*   59 58、实时分析平台之流量新增用户数据设备映射.mp4 03:25

*   60 59、实时分析平台之流量新增用户数据保存表输出.mp4 08:25

*   61 60、实时分析平台之流量新增用户统计表输出.mp4 06:01

*   62 61、实时分析平台之流量新增用户统计插入更新.mp4 07:02

*   63 62、实时分析平台之Superset配置流量新增用户可视化.mp4 08:18

*   64 63、实时分析平台之Superset 中文乱码问题解决.mp4 01:14

*   65 64、实时分析平台之浏览次数趋势分析流程讲解.mp4 03:07

*   66 65、实时分析平台之天活跃用户分析流程讲解.mp4 02:51

*   67 66、实时分析平台之周活跃用户分析流程讲解.mp4 02:22

*   68 67、实时分析平台之binlog讲解.mp4 06:50

*   69 68、实时分析平台之binlog使用以及查看.mp4 03:33

*   70 69、实时分析平台之canal讲解.mp4 03:56

*   71 70、实时分析平台之Cannal安装以及整合kafka实战.mp4 10:39

*   72 71、实时分析平台之数据实时转换服务.mp4 06:12

*   73 72、实时分析平台之订单趋势分析流程讲解.mp4 03:43

*   74 73、实时分析平台之团购用户趋势分析流程讲解.mp4 03:56

*   75 74、实时分析平台之部署以及整体效果演示.mp4 18:02