这门课解决什么问题
很多做业务数据或后端的人常遇到这种场景:业务跑了一两年,日志和订单表涨到几亿行,原本用传统关系型数据库跑个分组聚合,等十几分钟才出结果,老板要看实时大屏根本不现实。这套资料的主题就是用 Kettle 做数据抽取与清洗,用 ClickHouse 做海量数据的存储与秒级聚合查询,再用 Superset 把结果做成可视化看板,搭出一个能扛住亿级数据量、覆盖全端应用(PC、移动、小程序)行为的实时分析平台。它解决的核心痛点是:数据量大跑不动、报表更新慢、多端数据散落没法统一看。如果你目前的工作只是用 Excel 或单机数据库做分析,遇到数据量一上来就卡壳,那这套组合方案值得花时间研究。
适合什么基础,建议先看哪几块
这套资料不适合完全零基础的人。它默认你写过 SQL、知道数据库的基本概念,最好接触过一两门脚本语言。如果你连 select 语句都写不顺,建议先补基础再来。对于符合基础要求的读者,建议先看课程说明和 Kettle 的初识与安装部署部分,把工具跑起来;然后重点看 Kettle 各种数据源输入(文本、Excel、CSV、XML、JSON、表输入)和输出的操作,这是后续做数据清洗流转的地基。ClickHouse 和 Superset 的部分虽然资料线索里没展开,但它们是整个平台的核心,学的时候要把 ClickHouse 的表引擎选型、分布式表概念搞清楚,再去看 Superset 怎么连接数据源、做图表和看板。
资料怎么配合练习,学完能独立做什么
看视频时不要只跟着点界面,一定要自己准备一份测试数据,哪怕是几万行的模拟日志,按课里的步骤从 Kettle 抽取、转换、加载到 ClickHouse,再用 Superset 接上做几张图。每一步都跑通了,才算真学会。Kettle 的输入输出组件是高频操作,建议多拿不同格式的文件练手,熟悉字段映射、类型转换和错误处理。学完这套东西,你能独立搭一套从数据采集到可视化的完整链路:把多端应用的日志或业务数据用 Kettle 抽出来清洗,写进 ClickHouse,然后在 Superset 里配图表、拼大屏,给业务方提供一个能秒级响应的数据分析平台。这个能力对做数据开发、后端转数据方向,或者在业务团队里承担数据基建角色的人,都有实际落地价值。
能承载海量数据的实时分析,数据分析涵盖全端(PC、移动、小程序)应用。
课程目录
* 01 0、实时分析平台课程说明.mp4 06:51
* 02 1、实时分析平台之Kettle初识讲解.mp4 07:29
* 03 2、实时分析平台之Kettle安装部署.mp4 06:13
* 04 3、实时分析平台之Kettle文本文件输入.mp4 07:35
* 05 4、实时分析平台之Kettle Excel文件输入.mp4 03:31
* 06 5、实时分析平台之Kettle csv文件输入.mp4 05:35
* 07 6、实时分析平台之Kettle文件XML输入.mp4 05:28
* 08 7、实时分析平台之Kettle文件JSON输入.mp4 08:56
* 09 8、实时分析平台之Kettle表输入.mp4 08:03
* 10 9、实时分析平台之kettle excel文件输出.mp4 04:42
* 11 10、实时分析平台之kettle文本文件输出.mp4 03:15
* 12 11、实时分析平台之kettle sql文件输出.mp4 03:22
* 13 12、实时分析平台之kettle 表输出.mp4 03:22
* 14 13、实时分析平台之kettle 表数据更新.mp4 03:18
* 15 14、实时分析平台之kettle表数据插入更新.mp4 03:21
* 16 15、实时分析平台之kettle表数据删除.mp4 04:02
* 17 16、实时分析平台之kettle Switch-case控件.mp4 04:32
* 18 17、实时分析平台之kettle 数据过滤控件实战.mp4 04:33
* 19 18、实时分析平台之kettle 空操作控件实战.mp4 02:41
* 20 19、实时分析平台之kettle 增加常量控件实战.mp4 02:46
* 21 20、实时分析平台之kettle 增加序列控件实战.mp4 02:33
* 22 21、实时分析平台之kettle 值映射控件实战.mp4 05:26
* 23 22、实时分析平台之kettle 终止控件实战.mp4 05:10
* 24 23、实时分析平台之zookeeper环境安装.mp4 05:48
* 25 24、实时分析平台之hadoop环境构建.mp4 08:49
* 26 25、实时分析平台之kafka环境构建.mp4 06:22
* 27 26、实时分析平台之hbase环境构建.mp4 12:35
* 28 27、实时分析平台之kettle kafka插件安装.mp4 04:01
* 29 28、实时分析平台之kettle kafka流应用控件实战.mp4 05:43
* 30 29、实时分析平台之kettle java代码脚本控件实战.mp4 15:34
* 31 30、实时分析平台之业务结构讲解以及表构建1.mp4 13:49
* 32 31、实时分析平台之之业务结构讲解以及表构建2.mp4 06:54
* 33 32、实时分析平台之业务结构讲解以及表构建3.mp4 04:24
* 34 33、实时分析平台之业务结构实体构建1.mp4 08:26
* 35 34、实时分析平台之业务结构实体构建2.mp4 06:20
* 36 35、实时分析平台之业务结构实体构建3.mp4 04:22
* 37 36、实时分析平台之操作日志结构讲解.mp4 04:31
* 38 37、实时分析平台之hbase 工具封装代码讲解.mp4 14:58
* 39 38、实时分析平台之数据收集服务构建.mp4 12:49
* 40 39、实时分析平台之用户状态数据处理.mp4 10:06
* 41 40、实时分析平台之clickhouse讲解.mp4 05:42
* 42 41、实时分析平台之clickhouse环境安装.mp4 13:08
* 43 42、实时分析平台之ClickHouse 数据类型以及常用操.mp4 06:41
* 44 43、实时分析平台之Clickhouse java使用实战讲.mp4 07:20
* 45 44、实时分析平台之kettle 集成 clickhouse.mp4 03:42
* 46 45、实时分析平台之kettle clickhouse配置.mp4 04:01
* 47 46、实时分析平台之kettle json输出实战.mp4 04:32
* 48 47、实时分析平台之kettle clickhouse数据处.mp4 07:50
* 49 48、实时分析平台之kettle clickhouse数据处.mp4 09:30
* 50 49、实时分析平台之superset讲解.mp4 04:46
* 51 50、实时分析平台之superset环境安装实战.mp4 07:51
* 52 51、实时分析平台之Superset 使用实战.mp4 13:39
* 53 52、实时分析平台之流量新增用户数据解析提取1.mp4 12:58
* 54 53、实时分析平台之流量新增用户数据解析提取2.mp4 15:50
* 55 54、实时分析平台之流量新增用户数据解析提取3.mp4 03:28
* 56 55、实时分析平台之流量新增用户数据过滤.mp4 03:56
* 57 56、实时分析平台之流量新增用户数据常量设置.mp4 05:21
* 58 57、实时分析平台之流量新增用户数据序列设置.mp4 04:07
* 59 58、实时分析平台之流量新增用户数据设备映射.mp4 03:25
* 60 59、实时分析平台之流量新增用户数据保存表输出.mp4 08:25
* 61 60、实时分析平台之流量新增用户统计表输出.mp4 06:01
* 62 61、实时分析平台之流量新增用户统计插入更新.mp4 07:02
* 63 62、实时分析平台之Superset配置流量新增用户可视化.mp4 08:18
* 64 63、实时分析平台之Superset 中文乱码问题解决.mp4 01:14
* 65 64、实时分析平台之浏览次数趋势分析流程讲解.mp4 03:07
* 66 65、实时分析平台之天活跃用户分析流程讲解.mp4 02:51
* 67 66、实时分析平台之周活跃用户分析流程讲解.mp4 02:22
* 68 67、实时分析平台之binlog讲解.mp4 06:50
* 69 68、实时分析平台之binlog使用以及查看.mp4 03:33
* 70 69、实时分析平台之canal讲解.mp4 03:56
* 71 70、实时分析平台之Cannal安装以及整合kafka实战.mp4 10:39
* 72 71、实时分析平台之数据实时转换服务.mp4 06:12
* 73 72、实时分析平台之订单趋势分析流程讲解.mp4 03:43
* 74 73、实时分析平台之团购用户趋势分析流程讲解.mp4 03:56
* 75 74、实时分析平台之部署以及整体效果演示.mp4 18:02






