# 从数据读取到写入：深入理解 Hadoop 与 MySQL 的交互之道

在大数据处理的实际应用中，Hadoop 往往并非孤立存在，而是需要与传统的 RDBMS（如 MySQL）进行频繁的数据交换。Day 14 的课程聚焦于这一核心场景，深入剖析了 Hadoop 生态中两个至关重要的 InputFormat 和 OutputFormat 实现——`DBInputFormat` 与 `DBOutputFormat`。本导读将带你梳理课程脉络，解析底层逻辑，助你掌握这一关键集成技术。

解构数据处理链路：Reader、Writer 与输入格式分析

课程伊始，讲师并未直接进入代码，而是从宏观视角对 MapReduce 数据处理流程进行了拆解。通过对“输入格式-reader-output-writer”的分析，我们明确了数据在 Hadoop 集群中的流动路径：数据源如何被切片、记录如何被读取、Map 任务如何执行以及最终结果如何输出。这一环节旨在建立整体认知框架，让我们明白 `DBInputFormat` 并非凭空产生，而是整个数据读取链路中的一环。理解这一背景，有助于我们在后续面对复杂数据源接入时，能够理清思路，定位问题。

深入源码：DBInputFormat 的内部机制

`DBInputFormat` 是 Hadoop 连接 MySQL 的“入口”。它解决了如何将关系型数据库中的表数据高效地读取为 MapReduce 的键值对（Key-Value）问题。

课程详细分析了其内部实现原理。与传统 HDFS 文件不同，数据库数据是结构化的行集合。`DBInputFormat` 通过配置 JDBC 连接参数，将 MySQL 表中的数据映射为 Writable 对象。关键在于其切片（Split）机制：为了支持并行处理，`DBInputFormat` 会根据主键的范围将数据表切分为多个区间，每个区间对应一个 Map 任务。这种分片策略保证了不同 Map 任务可以并发地从数据库中读取不重叠的数据块，从而极大提升了读取效率。同时，课程还探讨了如何定义 `DBRecordReader`，以实现从 ResultSet 到 Text 对象的序列化转换，这是数据进入 Map 阶段前的最后一道关卡。

数据落库：DBOutputFormat 的写入策略

如果说 `DBInputFormat` 解决了“读”的问题，那么 `DBOutputFormat` 则专注于“写”。在 MapReduce 任务完成后，我们需要将处理结果持久化回 MySQL，以便业务系统直接使用。

`DBOutputFormat` 的实现核心在于如何将 Map 输出的键值对转换为 SQL 插入语句。课程展示了如何通过重写 `WriteRecord` 方法，将每个 Key-Value 对映射为对应的 `INSERT` 语句，并通过 JDBC 批量提交至数据库。这里需要注意的是性能优化，例如使用批量插入（Batch Insert）而非逐条提交，以及合理设置事务提交频率，以避免因网络往返过多导致的效率瓶颈。此外，还需处理主键冲突等异常情况，确保数据写入的健壮性。

实践意义与总结

通过 Day 14 的学习，我们不仅掌握了 `DBInputFormat` 和 `DBOutputFormat` 的使用方法，更理解了其在 Hadoop 数据生态中的定位。这两者构成了 Hadoop 与 MySQL 之间双向数据流动的基石。在实际项目中，无论是将 MySQL 业务数据导入 HDFS 进行离线分析，还是将离线计算结果回写至 MySQL 服务于实时查询，这一知识点都具有极高的实用价值。建议学习者结合官方源码或示例代码进行动手实践，深入理解其序列化机制与并发控制细节，从而在面对大规模数据迁移与集成需求时，能够从容应对，设计出高效稳定的大数据处理流程。