大数据技术之Maxwell

这门课解决什么工作场景

在数仓同步场景里，Maxwell 解决的是 MySQL 实时增量数据采集问题：它把自己伪装成 MySQL 的从库，订阅 binlog，把行级变更转成 JSON 发往 Kafka、控制台或其他下游，供实时计算或数仓 ODS 层消费。这门课围绕这个场景展开，从原理、安装到几个典型输出案例，覆盖了日常同步链路里最常见的几条路径。先讲它和 Canal 的差异，再带你配 MySQL、初始化元数据库、跑通输出到控制台和 Kafka 多分区的链路，逻辑比较连贯。如果你正在搭实时数仓、做 CDC 同步、或需要把业务库变更实时推给下游，这套内容能直接对上需求；如果你只是想做离线批处理同步，用 DataX 或 Sqoop 就够，那这门课的优先级可以往后放。

适合什么基础，建议先看哪几块

这门课默认你已经会用 Linux 命令行、装过 MySQL、对 Kafka 的 topic 和分区有基本概念，也大致了解数仓为什么要区分全量和增量。如果你连 binlog 是什么都不知道，建议先补一点 MySQL 基础再看，否则到配置环节容易卡。建议的观看顺序是：先看原理和 binlog 介绍，理解 Maxwell 为什么必须依赖 row 格式的 binlog；再看它和 Canal 的对比，搞清楚选型差异；接着重点看开启 MySQL binlog 日志那一节，这是最容易踩坑的地方，很多新手装完 Maxwell 启动报错，根因都是 binlog 没开或格式不对；最后再跟着案例跑通控制台输出和 Kafka 多分区输出。初始化元数据库和两种启动方式这两节虽然短，但别跳过，元数据库配错会导致元数据写不进去，启动方式选错会影响后续运维。

学完能独立做什么，资料怎么配合练习

学完之后，你应该能独立完成一件事：在一台测试机上把 MySQL 的 binlog 开起来，装好 Maxwell，配置好元数据库，用命令行启动它，实时监控某张业务表的增删改，把变更数据按 JSON 格式发到 Kafka 指定 topic 的多个分区里，并在下游消费验证数据正确。这基本覆盖了实时同步链路里采集这一环的核心工作。资料配合练习的方式建议这样：视频先完整看一遍原理和对比部分，建立选型判断；到了安装和配置环节，边看边在自己的测试环境复现，每一步都实际敲一遍，不要只看不动手。案例部分重点跟着做 Kafka 多分区输出那个，因为它最贴近真实生产场景，单分区输出只能当验证用。练习时建议自己造几条测试数据：往 MySQL 里 insert、update、delete 各做一次，去 Kafka 下游看 Maxwell 发出来的 JSON 结构有什么不同，搞清楚 old 和 data 字段的区别。这一步自己验证过，后面遇到下游数据对不上的问题，你才知道是采集环节的问题还是消费环节的问题。整个课程篇幅不长，内容紧凑，没有太多冗余，适合抽一两个晚上集中过一遍并跑通环境。