这门资料到底在解决什么问题
快手这份分享聚焦的核心是“流批一体”。在大量数据团队的日常里,离线数仓和实时计算往往是两套独立的代码、两套计算引擎。同一条业务指标,离线跑一份用来看历史报表,实时跑一份用来看大屏秒级数据,结果两边数据经常对不上,排查起来极其痛苦。流批一体要解决的,就是用同一套计算逻辑、甚至同一份代码,同时跑出离线和实时结果,消除数据口径割裂,同时降低重复开发的资源浪费。这份资料记录了快手在超大数据体量下落地这套架构的真实过程,它不是在讲基础概念,而是在讲一个 PB 级数据规模的团队怎么把这套理念真正跑通。
适合什么基础以及建议怎么听
这份资料不适合零基础转行人员。它要求你对数据开发有基本认知,平时接触过离线数仓(比如写 SQL 跑 Hive)或者实时计算(比如用过 Flink),并且切身体会过两套链路维护起来有多别扭。如果你只是想学一门编程语言入门,这份内容会非常吃力。建议先重点听分享中关于架构演进的拆解,理解快手为什么要从原有架构转向流批一体,以及他们在数据口径对齐上踩过哪些坑。这部分对日常做数据同步、数仓建模的同学最有参考价值。不要把它当成实操手册去硬背步骤,而是当成一份架构设计的复盘来听。
学完能带走什么以及资料怎么配合
听完这份分享,你无法立刻在公司从零搭建一套一模一样的流批一体平台,因为这背后涉及大量的底层引擎改造和资源调度,不是个人能独立完成的。但你能独立做的是:在评估自己团队的数据架构时,多一个务实的判断维度。比如当你面对离线和实时数据经常打架的场景时,能清晰地指出问题出在计算逻辑割裂上,并能提出流批一体的初步整改思路。在看资料时,建议手边备好纸笔,把快手架构里的数据分层、计算引擎选型以及流批融合的关键节点画成流程图。遇到讲得比较抽象的底层优化部分,如果和当前工作场景无关,可以先跳过,重点把“业务场景痛点”和“最终架构选型”这两块吃透,这样吸收效率最高。
本次分享主要介绍快手在超大数据体量下如果在流批一体领域中探索及实践的过程
课程目录
* 01 流批一体在快手的探索实践.mp4 (251.80 MB), 38:04






