数据管道里最头疼的往往不是代码逻辑，而是任务依赖的混乱与执行环境的不可控。当手动执行 Shell 脚本或 Python 任务开始出现漏跑、重跑困难、缺乏统一监控时，引入 Airflow 是提升运维稳定性的标准解法。这门课聚焦于 Airflow 的实际落地，从单机环境配置到分布式集群的高可用部署，解决的是“如何让复杂的数据处理流程自动化、可视化且可追溯”这一核心运维痛点。它不泛泛而谈大数据概念，而是直接切入任务调度框架的工程化应用。

适合具备基础 Python 语法和 Linux 操作能力的读者。如果你能独立编写简单的 Shell 脚本，并能理解基本的进程管理，就可以开始学习。无需精通 Hadoop 生态，课程会在用到 HiveOperator 等组件时提供必要的环境准备指引，但建议对数据仓库有基本认知，以便理解调度场景。

建议优先关注第二、三、四章。第二章负责搭建本地开发环境，是后续所有操作的地基，务必亲手完成 Python 环境配置与 WebUI 启动。第三章是核心，重点掌握 DAG 的定义方式、任务依赖关系的设定以及调度周期的参数配置，这是编写任何自动化流程的基础。第四章通过 Bash、SSH、Python 及 Hive 等 Operator 的实战案例，展示如何将具体业务逻辑封装进调度系统，这部分内容可以直接迁移到你的日常工作中。

学完这门课，你应当能独立设计并部署一个包含多个依赖节点的数据处理流水线。具体能力包括：能够根据业务需求编写 DAG 代码，合理设置任务重试机制与超时策略；能通过 WebUI 实时监控任务状态，快速定位失败节点并手动触发补数；更重要的是，能够搭建 Airflow 分布式集群，配置 Scheduler 的高可用架构，确保在单点故障时调度服务不中断。

资料配合练习时，不要只看不练。每看完一个 Operator 的讲解，立即在本地环境中编写对应的最小化 DAG 进行测试。例如，在学完 SSHOperator 后，尝试配置一个远程服务器连接并执行简单命令，验证权限与网络连通性。对于分布式集群部分，建议在虚拟机或云主机环境中模拟多节点部署，亲手体验节点宕机后的自动切换过程，这样对高可用原理的理解才会深刻。

课程目录

1-第一章-Airflow架构原理及术语 1-01-Airflow任务流调度工具-什么是Airflow.mp4
 24.46M 2-02-Airflow任务流调度工具-Airflow架构角色及作用.mp4
 32.54M 3-03-Airflow任务流调度工具-Airflow术语.mp4
 19.51M 4-04-Airflow任务流调度工具-任务调度原理.mp4
 8.56M 2-第二章-Airflow单机搭建及启动 1-05-Airflow任务流调度工具-Anconda及python3.7环境安装.mp4
 69.54M 2-06-Airflow任务流调度工具-Airflow单节点安装.mp4
 96.18M 3-07-Airflow任务流调度工具-Airflow配置及配置用户.mp4
 68.76M 4-08-Airflow任务流调度工具-Airflow启动.mp4
 30.59M 5-09-Airflow任务流调度工具-Airflowwebui介绍.mp4
 69.36M 3-第三章-AirflowWebUI及DAG依赖参数设置 1-10-Airflow任务流调度工具-Airflow使用.mp4
 18.23M 2-11-Airflow任务流调度工具-AirflowDAG定义三种方式.mp4
 63.87M 3-12-Airflow任务流调度工具-Airflowtask创建及指定task依赖关系.mp4
 56.48M 4-13-Airflow任务流调度工具-Airflow手动、自动调度DAG、删除DAG.mp4
 54.97M 5-14-Airflow任务流调度工具-Airflow调度触发时间.mp4
 25.75M 6-15-Airflow任务流调度工具-AirflowDAGCatchup参数.mp4
 44.39M 7-16-Airflow任务流调度工具-DAG调度周期三种设置方式.mp4
 50.46M 8-17-Airflow任务流调度工具-Airflow任务依赖设置.mp4
 64.65M 4-第四章-AirflowOperator及案例实战 1-18-Airflow任务流调度工具-AirflowBaseOperator参数.mp4
 22.15M 10-27-Airflow任务流调度工具-PythonOperator配置及执行案例.mp4
 80.81M 2-19-Airflow任务流调度工具-AirflowBashOperator执行shell命令.mp4
 29.48M 3-20-Airflow任务流调度工具-Airflow发送邮件配置.mp4
 15.30M 4-21-Airflow任务流调度工具-BashOperator执行shell命令测试.mp4
 49.70M 5-22-Airflow任务流调度工具-BashOperator执行shell脚本.mp4
 51.53M 6-23-Airflow任务流调度工具-SSHOperator参数及依赖安装配置.mp4
 73.20M 7-24-Airflow任务流调度工具-SSHOpeator远程执行脚本案例.mp4
 25.01M 8-25-Airflow任务流调度工具-HiveOperator使用环境准备.mp4
 67.31M 9-26-Airflow任务流调度工具-HiveOperatorDAG执行案例.mp4
 46.02M 5-第五章-Airflow分布式集群原理、搭建及HA测试 1-28-Airflow任务流调度工具-Airflow分布式集群知识扩展.mp4
 26.34M 2-29-Airflow任务流调度工具-Airflow集群搭建环境准备.mp4
 73.34M 3-30-Airflow任务流调度工具-Airflow分布式集群搭建.mp4
 92.79M 4-31-Airflow任务流调度工具-Airflow集群配置及SchedulerHA配置.mp4
 59.85M 5-32-Airflow任务流调度工具-Airflow集群启动.mp4
 36.14M 6-33-Airflow任务流调度工具-Airflow集群HA测试.mp4
 64.63M MSB-AirFlow分布式任务调度框架/ 2-02-Ai