这门课解决什么工作场景,适合什么基础
很多做业务分析、运营或者刚转行做数据开发的人,常被卡在同一件事上:数据散落在多个系统里,格式不统一,每次出报表或做数据迁移都得手动复制粘贴,费时且容易出错。这门讲开源 ETL 工具 Kettle 的课,针对的就是这种多源数据搬运和清洗的场景。它不涉及高深的分布式架构,核心是帮你把不同来源的数据,按设定规则抽取、转换,再装载到目标库或指定文件里。如果你日常要处理多表合并、异构数据源对接、定时跑批任务,学它很对路;如果你只是做单表查询,用表格软件就够,那没必要跟风学。从门槛来看,它适合有一点数据库基础、能写简单查询语句,但没怎么接触过数据工程的人。课程从概念和安装讲起,不要求你有编程背景,但需要你对表结构、字段类型有基本概念,否则在做数据映射时会比较吃力。
建议先看哪几块,资料怎么配合练习
拿到资料后,别按顺序一节节刷,建议分三步走。第一步,先看概述和安装部署,把本地环境跑通,这部分不长,十几分钟就能搞定,但后续所有操作都依赖这个环境。第二步,直接跳到核心概念,弄懂转换和作业这两个基本单元的区别,这是理解后续所有操作的前提,没搞懂这个直接做实操容易一团乱。第三步,重点放在输入和输出控件上,这是实际干活的部分。看视频时,一定要同步开着软件跟着操作。资料里提到的多种格式的输入输出,自己找几份测试数据,照着视频里的步骤做一遍转换流程。光看不练,过几天基本全忘。练习时多试几种异常情况,比如字段类型不匹配、文件路径错误、数据缺失,看工具怎么报错,这比只跑通正常流程更有用。把这些控件摸熟,后续做复杂数据流就有底了。
学完能独立做什么
学完这套内容,你应该能独立搭建一套简单的数据同步和处理流程。比如,把每天产生的业务系统表格数据,自动清洗后导入到数据库指定表里;或者从多个文本文件里提取数据,合并转换成统一格式输出。这些任务以前靠人工核对,现在可以配成定时作业自动跑。课程内容偏实操,没讲太复杂的性能调优和高可用部署,但对付中小规模的数据搬运和清洗足够了。掌握这些,至少在处理日常数据整合时,不用再求开发排期,自己就能把活干完。对于想往数据开发方向转的人,这也能作为一块敲门砖,让你理解数据流转的完整链路,而不是只停留在写查询语句的阶段。
课程目录
课程目录45 集
- 1-1 [ETL概念与Kettle概述] ETL概念和Kettle概述 (10:00).mp4
- 2-1 [Kettle安装部署] kettle的安装 (14:04).mp4
- 3-1 [Kettle快速体验] Kettle快速体验 (11:57).mp4
- 4-1 [Kettle 核心概念] Kettle核心概念 (05:57).mp4
- 5-1 [输入控件] 输入控件-csv-文本输入 (08:06).mp4
- 5-2 [输入控件] 输入控件-excel输入 (07:45).mp4
- 5-3 [输入控件] 输入控件-xml输入 (07:21).mp4
- 5-4 [输入控件] 输入控件-json输入 (18:52).mp4
- 5-5 [输入控件] 输入控件-表输入 (11:34).mp4
- 6-1 [Kettle输出控件] 输出控件-excel输出 (08:56).mp4
- 6-2 [Kettle输出控件] 输出控件-文本文件输出 (03:46).mp4
- 6-3 [Kettle输出控件] 输出控件-sql文件输出 (05:08).mp4
- 6-4 [Kettle输出控件] 输出控件-表输出 (05:57).mp4
- 6-5 [Kettle输出控件] 输出控件-更新和插入更新 (14:56).mp4
- 6-6 [Kettle输出控件] 输出控件-删除控件 (05:06).mp4
- 7-1 [转换控件] 转换控件-concat-fields (08:25).mp4
- 7-2 [转换控件] 17-转换控件-值映射 (05:22).mp4
- 7-3 [转换控件] 转换控件-增加常量和增加序列 (05:50).mp4
- 7-4 [转换控件] 转换控件-字段选择 (03:02).mp4
- 7-5 [转换控件] 转换控件-计算器 (02:34).mp4
- 7-6 [转换控件] 转换控件-字符串剪切-替换-操作 (08:45).mp4
- 7-7 [转换控件] 转换控件-排序和去重复 (07:51).mp4
- 7-8 [转换控件] 转换控件-唯行 (03:27).mp4
- 7-9 [转换控件] 转换控件-拆分字段 (04:55).mp4
- 7-10 [转换控件] 转换控件-列拆分为多行 (08:24).mp4
- 7-11 [转换控件] 转换控件-行扁平化 (08:04).mp4
- 7-12 [转换控件] 转换控件-列转行 (14:34).mp4
- 7-13 [转换控件] 转换控件-行转列 (08:27).mp4
- 8-1 [应用控件] 应用控件-替换null值 (05:25).mp4
- 8-2 [应用控件] 应用控件-写日志 (03:29).mp4
- 9-1 [流程控件] 流程控件-switch-case (09:53).mp4
- 9-2 [流程控件] 流程控件-过滤记录 (05:11).mp4
- 9-3 [流程控件] 流程控件-空操作 (03:46).mp4
- 9-4 [流程控件] 流程控件-中止 (05:47).mp4
- 10-1 [查询控件] 查询控件-数据库查询 (10:16).mp4
- 10-2 [查询控件] 查询控件-流查询 (09:22).mp4
- 11-1 [连接控件] 连接控件-合并记录 (12:24).mp4
- 11-2 [连接控件] 连接控件-记录集连接 (18:06).mp4
- 12-1 [统计控件] 统计控件-分组 (08:40).mp4
- 13-1 [映射控件] 映射控件 (21:23).mp4
- 14-1 [脚本控件] 脚本控件 (03:15).mp4
- 15-1 [作业] 作业 (28:15).mp4
- 15-2 [作业] 作业问题解决 (01:48).mp4
- 15-3 [作业] 转换案例 (09:12).mp4
- 15-4 [作业] 作业案例 (08:08).mp4






