人工精选Kafka核心源码解读
这门课解决什么痛点,适合谁读 市面上讲 Kafka 的视频和文章汗牛充栋,但大多数停留在配置项解释、API 调用或架构原理的表层。当你在面试中面对“分区重平衡的具体流程”、“事务消息如何保证 Exactly-Once 语义”或者“Controller 选主失败的排查思路”时,通用的概念科普往往无法给
会员 · 按档位
游客按标价购买,不享受上表折扣。
支付成功后自动发放网盘链接,链接失效可找客服免费补
这门课解决什么痛点,适合谁读
市面上讲 Kafka 的视频和文章汗牛充栋,但大多数停留在配置项解释、API 调用或架构原理的表层。当你在面试中面对“分区重平衡的具体流程”、“事务消息如何保证 Exactly-Once 语义”或者“Controller 选主失败的排查思路”时,通用的概念科普往往无法给出令人信服的答案。这门课聚焦于 Kafka 核心源码解读,旨在填补“会用”到“懂原理”之间的巨大鸿沟。它不教搭建集群,而是带你深入 Java 和 Scala 混合编写的引擎内部,看消息是如何落盘、索引是如何构建、网络请求是如何被调度处理的。
适合人群非常明确:拥有两年以上后端开发经验,日常与消息队列打交道,但在系统出现抖动、数据丢失或性能瓶颈时感到无从下手的工程师;或者是正在准备大厂架构师面试,需要展示技术深度的求职者。如果你完全不了解 Kafka 的基本概念,直接读源码会非常痛苦,建议先补全官方文档的基础认知,再进入本课程。
课前准备与学习路径建议
源码阅读最大的拦路虎通常是环境搭建和语言门槛。Kafka 服务端大量使用了 Scala 语法,对于习惯纯 Java 的开发者来说,Trait、模式匹配等概念可能带来短暂的认知摩擦。课程在「课前必学」模块专门安排了 Scala 语言热身,并指导如何构建 Kafka 工程及调试环境,这部分务必认真听讲,不要跳过。只有跑通了本地源码编译和断点调试,后续的阅读才不会变成“纸上谈兵”。
建议的阅读顺序并非线性从第一讲到最后一讲,而是建议先啃下「日志模块」。日志是 Kafka 高性能的核心秘密所在,涉及 PageCache、零拷贝(Zero-Copy)以及分段存储机制。通过理解「日志段」对象的实现以及日志加载过程,你能建立起对 Kafka 持久化层的直觉。之后可以结合「测试题」中的期中测试来检验对日志存储理解的深度。对于分布式共识部分,虽然资料包线索中未详细列出 KRaft 迁移的专题,但「特别放送」中提到了移除 ZooKeeper 依赖的重磅功能,这是当前社区的最新演进,值得在学完基础源码后延伸阅读,以建立完整的知识闭环。
学完能做什么,资料怎么用
学完这门课后,你应当能够独立在脑海中复现一条消息从生产者发出到最终提交到磁盘的全链路图景。具体表现为:能够解释 LogSegment 的结构及其内存映射原理;能够分析 Broker 在重启时如何快速恢复索引;能够理解 Controller 选举背后的 Raft-like 协议核心逻辑。更重要的是,这种底层视角将赋予你排查线上故障的能力,例如当遇到“消息堆积”时,你能判断是消费端慢还是磁盘 IO 瓶颈;当遇到“元数据不一致”时,你能知道去查哪个节点的 Controller 日志。
资料包中的测试题是检验学习成果的关键工具。不要只做选择题,而要尝试手动推导答案背后的源码路径。特别是期末测试和那 20 道经典面试题详解,它们是连接源码知识与实际工作场景的桥梁。建议在学完一个模块(如日志模块)后,立即做对应的章节测试,错题库就是你后续复习的重点。此外,「特别放送」中的开源社区参与流程和内容,适合学有余力者关注,它们展示了如何将源码阅读能力转化为对项目的实际贡献,这是职业生涯进阶的重要一步。
课程目录
测试题 (2讲)
- 期中测试 _ 这些源码知识,你都掌握了吗?
- 期末测试 _ 一套习题,测试你的掌握程度
特别放送 (5讲)
- 特别放送(一)_ 经典的Kafka学习资料有哪些?
- 特别放送(三)_ 我是怎么度过日常一天的?
- 特别放送(二)_ 一篇文章带你了解参与开源社区的全部流程
- 特别放送(五) _ Kafka 社区的重磅功能:移除 ZooKeeper 依赖
- 特别放送(四)_ 20道经典的Kafka面试题详解
课前必学 (3讲)
- 开篇词 _ 阅读源码,逐渐成了职业进阶道路上的“必选项”
- 导读 _ 构建Kafka工程和源码阅读环境、Scala语言热身
- 重磅加餐 _ 带你快速入门Scala语言
日志模块 (5讲)
- 01 _ 日志段:保存消息文件的对象是怎么实现的?
- 02 _ 日志(上):日志究竟是如何加载日志段的?
- 03 _ 日志(下):彻底搞懂Log对象的常见操作
- 04 _ 索引(上):改进的二分查找算法在Kafka索引的应用
- 05 _ 索引(下):位移索引和时间戳索引的区别是什么?
请求处理模块 (5讲)
- 06 _ 请求通道:如何实现Kafka请求队列?
- 07 _ SocketServer(上):Kafka到底是怎么应用NIO实现网络通信的?
- 08 _ SocketServer(中):请求还要区分优先级?
- 09 _ SocketServer(下):请求处理全流程源码分析
- 10 _ KafkaApis:Kafka最重要的源码入口,没有之一
Controller模块 (5讲)
- 11 _ Controller元数据:Controller都保存有哪些东西?有几种状态?
- 12 _ ControllerChannelManager:Controller如何管理请求发送?
- 13 _ ControllerEventManager:变身单线程后的Controller如何处理事件?
- 14 _ Controller选举是怎么实现的?
- 15 _ 如何理解Controller在Kafka集群中的作用?
状态机模块 (3讲)
- 16 _ TopicDeletionManager: Topic是怎么被删除的?
- 17 _ ReplicaStateMachine:揭秘副本状态机实现原理
- 18 _ PartitionStateMachine:分区状态转换如何实现?
延迟操作模块 (2讲)
- 19 _ TimingWheel:探究Kafka定时器背后的高效时间轮算法
- 20 _ DelayedOperation:Broker是怎么延时处理请求的?
副本管理模块 (6讲)
- 21 _ AbstractFetcherThread:拉取消息分几步?
- 22 _ ReplicaFetcherThread:Follower如何拉取Leader消息?
- 23 _ ReplicaManager(上):必须要掌握的副本管理类定义和核心字段
- 24 _ ReplicaManager(中):副本管理器是如何读写副本的?
- 25 _ ReplicaManager(下):副本管理器是如何管理副本的?
- 26 _ MetadataCache:Broker是怎么异步更新元数据缓存的?
消费者组管理模块 (7讲)
- 27 _ 消费者组元数据(上):消费者组都有哪些元数据?
- 28 _ 消费者组元数据(下):Kafka如何管理这些元数据?
- 29 _ GroupMetadataManager:组元数据管理器是个什么东西?
- 30 _ GroupMetadataManager:位移主题保存的只是位移吗?
- 31 _ GroupMetadataManager:查询位移时,不用读取位移主题?
- 32 _ GroupCoordinator:在Rebalance中,Coordinator如何处理成员入组?
- 33 _ GroupCoordinator:在Rebalance中,如何进行组同步?
结束语 (1讲)
- 结束语 _ 源码学习,我们才刚上路呢





