解决实时数仓的更新与查询矛盾

Apache Paimon 解决的是传统数据湖无法高效处理高频更新、且实时查询性能差的难题。对于需要构建实时数仓、处理 CDC 数据同步或高频日志分析的数据工程师来说，这门课提供了关键的架构参考。它不再将湖仓视为静态归档，而是实现可实时读写的统一存储，让流式计算与批处理共享同一套数据物理层，消除数据副本带来的成本与维护负担。若你的工作涉及从 MySQL 等 OLTP 数据库实时同步数据到分析层，并需在秒级完成聚合查询，Paimon 的 LSM 存储结构与快照隔离机制是直接相关的底层支撑。这门课不教你写代码，而是拆解 Paimon 如何平衡写入吞吐、查询延迟与存储成本，帮助你在架构设计阶段避开常见陷阱，比如小文件爆炸、Compaction 策略选择不当导致的性能抖动。

适合基础与前置门槛

本课不适合零基础入门者，要求具备扎实的 SQL 基础，熟悉 Hive 或 Spark 操作，并至少接触过 Flink 流处理引擎。如果你连数据流吞吐、延迟指标或状态后端概念都模糊，直接上手会非常吃力。建议先花两三天时间跑通一个最简单的 Flink 作业，理解批流一体开发的基本流程。本课侧重原理剖析与架构演进，重点在于理解 Paimon 的底层存储逻辑，而非陷入具体配置项的记忆。务必确认你对 Lakehouse 基本架构有认知，否则后续关于元数据管理、快照隔离的讨论将难以消化。资料包中的架构图适合在动手前反复对照阅读，辅助理解数据流向，不要试图一次背完所有参数。

学习路径与独立产出

建议优先关注“存储架构设计”与“读写流程解析”两个核心模块，先理解快照隔离如何保证 ACID 特性，再看流式写入时的文件组织逻辑，这部分决定未来排查性能问题的能力。学完并配合本地搭建 Flink 集群后，你应能独立完成以下任务：基于 Paimon 构建实时数仓模型，通过 CDC 实现数据库变更的实时同步与回滚；针对高并发写入场景，自行调整 Compaction 策略以平衡写入延迟与查询性能；并在生产环境中监控并优化小文件问题。资料包中的源码解读部分，适合在动手配置后反复对照阅读，辅助理解底层逻辑。不要仅调用现成模板，而是通过实验验证不同配置对吞吐量的影响，培养“假设-验证”的工程思维。最终目标是能独立设计一套高可用的实时湖仓系统，具备解决复杂场景下数据一致性问题的能力。

课程目录

整理中，敬请期待。