这门课解决什么问题

很多做数据开发或运维的团队都会遇到一个坎：Shell 脚本越写越多，最后只能靠 Crontab 定时任务硬扛。任务一多，依赖关系就成了乱麻，上游跑挂了下游还在傻等，排查问题时连任务执行历史都找不到。这门基于 DolphinScheduler 的体系课，解决的就是这类离线数仓和批处理任务在多节点环境下的统一调度、依赖管理和监控报警问题。它不教怎么写 SQL，而是教你把各种零散的数据处理脚本，装进一个可视化的工作流里统一跑起来。课程内容覆盖了 1.x 到 3.x 版本，对于需要理解版本差异或维护老系统的工程师比较实用。

适合什么基础与建议先看哪几块

这门课不适合完全没接触过大数据组件的零基础转行者。你需要对 Linux 常规操作有基本了解，最好写过几个 Shell 脚本，知道 Hadoop 或 Hive 是干什么用的。资料整体偏实操，没有太多冗长的理论铺垫。建议直接从基础环境构建部分看起，特别是 Hadoop 和 DS 自身的环境搭建。不要跳过 Zookeeper 和 MySQL 的部署，它们是整个调度集群高可用和元数据存储的底层依赖。看完环境部分后，直接切入 Shell 任务和 SUBPROCESS 任务章节，这是理解工作流怎么串起来的核心。对于多版本并存的内容，如果你的公司是新项目，建议直接对照 3.x 的部分去练习，不用在旧版本上耗费太多精力。

资料怎么配合练习与学完能做什么

看视频时务必开着虚拟机跟着敲，不要只用眼睛过一遍。资料里涉及多个组件的安装，建议自己准备三台虚拟机搭一个最小化集群，把主节点、工作节点和数据库分开部署。讲到 Shell 任务时，自己写几个简单的数据导出脚本扔进去跑，试着配置任务间的依赖关系，人为制造一个脚本报错，去观察调度平台是怎么记录失败状态和重试的。学完这套内容，你能独立完成一套调度平台的从零部署、资源队列配置，并把日常的离线数据抽取、清洗脚本挂载上去，配置好定时执行与失败告警。对于日常需要接手数仓运维、或者想把团队里零散的定时任务规范化管理的开发人员来说，这套实操资料能帮你把流程真正跑通。


课程会带大家构建DolphinScheduler大数据调度平台，实战讲解多种任务调度配置。

课程目录

*   01 1、基于DS构建大数据调度课程说明.mp4 10:41

*   02 2、构建大数据调度平台之Zookeeper环境安.mp4 05:48

*   03 3、构建大数据调度平台之Hadoop环境构建.mp4 08:49

*   04 4、基于DS构建大数据调度平台之Kafka环境构建.mp4 06:22

*   05 5、大数据调度平台之Hbase环境构建.mp4 12:35

*   06 6、大数据调度平台之MySQL环境构建.mp4 06:27

*   07 7、大数据调度平台之Hive环境构建.mp4 06:08

*   08 8、DolphinScheduler环境构建.mp4 33:55

*   09 9、大数据调度平台之Shell任务初体验.mp4 07:42

*   10 10、SUBPROCESS任务以及定时管理实战讲解.mp4 12:09

*   11 11、大数据调度平台之存储过程任务实战讲解.mp4 10:50

*   12 12、大数据调度平台之SQL任务实战讲解.mp4 11:56

*   13 13、大数据调度平台之Spark任务实战讲解.mp4 29:48

*   14 14、大数据调度平台之Flink任务实战讲解.mp4 22:34

*   15 15、大数据调度平台之Flink任务实战补充讲解.mp4 05:48

*   16 16、大数据调度平台之推荐系统调度实战1.mp4 14:11

*   17 17、大数据调度平台之推荐系统调度实战2.mp4 10:36

*   18 18、大数据调度平台之推荐系统调度实战3.mp4 09:55

*   19 19、大数据调度平台之推荐系统调度实战4.mp4 08:49

*   20 20、大数据调度平台之推荐系统调度实战5.mp4 05:12

*   21 21、大数据调度平台之推荐系统调度实战6.mp4 07:40

*   22 22.DolphinScheduler2.x版本优化和重构等.mp4 10:18

*   23 23.DolphinScheduler2.x集群分布式安装1.mp4 18:28

*   24 24.DolphinScheduler2.x集群分布式安装2.mp4 10:36

*   25 25.DolphinScheduler2.x实战使用讲解.mp4 06:57

*   26 26、DolphinScheduler3.x版本优化变更和新.mp4 09:29

*   27 27、DolphinScheduler3.x集群分布式安装实.mp4 20:27

*   28 28、DolphinScheduler3.x实战使用讲解1.mp4 06:30

*   29 29、DolphinScheduler3.x实战使用讲解2.mp4 02:07