从单机调度到集群高可用，Airflow 实战全流程解析

这门课程直击运维与开发中“任务依赖管理”与“调度自动化”的痛点，核心在于手把手搭建一套可扩展的分布式任务调度系统。对于有 Python 基础但缺乏调度框架实战经验的运维人员，或需要编写复杂依赖任务流的开发人员，这是必经的进阶路径。课程不玩虚的，从单机环境的 Anaconda 配置、WebUI 交互，直接切入 DAG（有向无环图）的依赖参数设置，教你如何精准控制任务触发周期与依赖关系。到了实战环节，重点剖析 BashOperator、PythonOperator 以及 HiveOperator 的参数配置与脚本执行，让你能真正用代码控制服务器与大数据组件。最后，课程进阶到分布式集群搭建与 HA（高可用）测试，这是生产环境落地的关键，能确保调度服务在单点故障下依然稳定运行。建议先看架构原理与单机搭建，理解调度逻辑后再看 Operator 案例与集群配置，最后结合资料包中的脚本进行复现。

资料拆解与练习建议

资料包不仅是视频，更是可直接跑通的代码仓库。建议先下载源码，在本地按照第一章的步骤复现单机环境，重点熟悉 WebUI 的操作与 DAG 的编写规范。在第四章的 Operator 实战中，不要只看视频，要对照资料里的 Python 脚本和 Shell 脚本，亲自修改参数并执行，特别是 HiveOperator 的环境准备与执行案例，这是打通大数据调度链路的核心。对于第五章的集群搭建，建议在虚拟机或云服务器上尝试复现，重点关注 Scheduler HA 配置与集群启动的细节，这能帮你解决生产环境中的服务可用性问题。通过这套资料，你不仅能掌握 Airflow，更能具备独立设计并运维复杂任务流的能力。

课程目录

1-第一章-Airflow架构原理及术语
1-01-Airflow任务流调度工具-什么是Airflow.mp4 24.46M
2-02-Airflow任务流调度工具-Airflow架构角色及作用.mp4 32.54M
3-03-Airflow任务流调度工具-Airflow术语.mp4 19.51M
4-04-Airflow任务流调度工具-任务调度原理.mp4 8.56M
2-第二章-Airflow单机搭建及启动
1-05-Airflow任务流调度工具-Anconda及python3.7环境安装.mp4 69.54M
2-06-Airflow任务流调度工具-Airflow单节点安装.mp4 96.18M
3-07-Airflow任务流调度工具-Airflow配置及配置用户.mp4 68.76M
4-08-Airflow任务流调度工具-Airflow启动.mp4 30.59M
5-09-Airflow任务流调度工具-Airflowwebui介绍.mp4 69.36M
3-第三章-AirflowWebUI及DAG依赖参数设置
1-10-Airflow任务流调度工具-Airflow使用.mp4 18.23M
2-11-Airflow任务流调度工具-AirflowDAG定义三种方式.mp4 63.87M
3-12-Airflow任务流调度工具-Airflowtask创建及指定task依赖关系.mp4 56.48M
4-13-Airflow任务流调度工具-Airflow手动、自动调度DAG、删除DAG.mp4 54.97M
5-14-Airflow任务流调度工具-Airflow调度触发时间.mp4 25.75M
6-15-Airflow任务流调度工具-AirflowDAGCatchup参数.mp4 44.39M
7-16-Airflow任务流调度工具-DAG调度周期三种设置方式.mp4 50.46M
8-17-Airflow任务流调度工具-Airflow任务依赖设置.mp4 64.65M
4-第四章-AirflowOperator及案例实战
1-18-Airflow任务流调度工具-AirflowBaseOperator参数.mp4 22.15M
10-27-Airflow任务流调度工具-PythonOperator配置及执行案例.mp4 80.81M
2-19-Airflow任务流调度工具-AirflowBashOperator执行shell命令.mp4 29.48M
3-20-Airflow任务流调度工具-Airflow发送邮件配置.mp4 15.30M
4-21-Airflow任务流调度工具-BashOperator执行shell命令测试.mp4 49.70M
5-22-Airflow任务流调度工具-BashOperator执行shell脚本.mp4 51.53M
6-23-Airflow任务流调度工具-SSHOperator参数及依赖安装配置.mp4 73.20M
7-24-Airflow任务流调度工具-SSHOpeator远程执行脚本案例.mp4 25.01M
8-25-Airflow任务流调度工具-HiveOperator使用环境准备.mp4 67.31M
9-26-Airflow任务流调度工具-HiveOperatorDAG执行案例.mp4 46.02M
5-第五章-Airflow分布式集群原理、搭建及HA测试
1-28-Airflow任务流调度工具-Airflow分布式集群知识扩展.mp4 26.34M
2-29-Airflow任务流调度工具-Airflow集群搭建环境准备.mp4 73.34M
3-30-Airflow任务流调度工具-Airflow分布式集群搭建.mp4 92.79M
4-31-Airflow任务流调度工具-Airflow集群配置及SchedulerHA配置.mp4 59.85M
5-32-Airflow任务流调度工具-Airflow集群启动.mp4 36.14M
6-33-Airflow任务流调度工具-Airflow集群HA测试.mp4 64.63M
MSB-AirFlow分布式任务调度框架/
2-02-Ai