课程定位与核心覆盖范围
这门课程聚焦于当前大厂主流的实时数仓平台架构，旨在帮助学员一次性掌握大数据核心技术栈。内容深度融合了 Hadoop、Hive、Kafka、Flink 以及 HBase 这五大关键框架，并非孤立的知识点讲解，而是构建在完整的数据链路之上。通过解析海量数据的传输、存储、计算与展示全过程，课程还原了工业级分布式流式数据处理平台的真实面貌，为学习者建立起从底层基础设施到上层应用开发的完整技术视野。
适用人群与能力门槛
本课程适合已经具备一定编程基础，且对分布式系统有基本认知的上班族或转行者。如果你熟悉 Java 或 Scala 中的任意一种语言，并能理解基本的 Linux 操作命令，那么跟上节奏会相对轻松。对于零基础但愿意投入大量时间啃透底层原理的学习者，也可以尝试，但建议前期额外补充一些分布式计算的基础理论。
课程解决的核心痛点在于传统离线数仓只能支持 T+1 的数据延迟，无法满足现代业务对分钟级甚至秒级实时报表、实时告警及实时决策支持的迫切需求。学完后，你将能够独立搭建一套基于 Kafka 和 Flink 的流式数据处理链路，实现从原始数据接入、清洗、聚合到最终落地 HBase 并对接可视化展示的全流程开发能力。这一技能组合正是当前招聘市场中中高级大数据开发岗位的核心竞争力所在。
学习路径与资料配合建议
建议按照以下逻辑顺序进行攻克：首先深入理解 Kafka 的流式传输机制，掌握消息队列如何在高并发场景下确保数据不丢失、不重复，这是数据进入系统的入口关；其次重点钻研 Flink 的状态计算与窗口聚合逻辑，这是实时数仓的大脑，直接决定了实时指标计算的准确性与效率；最后研究 HBase 的列式存储设计，理解为何在处理海量数据时要舍弃关系型数据库而选择此类存储方案。
资料包中最具价值的部分是关于某大厂流式计算实时数据仓库的实战项目。请务必亲手跟随一遍从数据接入到最终可视化的完整流程，切忌只看不练。资料中的练习案例涵盖了用户点击流的实时计数、订单状态的分钟级聚合以及异常交易的秒级告警等典型场景。只有将这些环节全部跑通，你才算真正内化了课程内容，具备了独立承担相关项目开发工作的能力。
课程目录
123243dwiw333ryzlztiws.png (189. 03 KB, ) 2024-10-26 13: 14 上传 课程介绍： 本课程围绕当前大厂热门的实时数仓平台架构，融合核心框架Hadoop、离线数仓工具Hive、开源流处理框架Kafka、分布式计算引擎Flink、海量数据存储框架HBase，让你一次性掌握大数据核心技术。 大厂实时数据仓库实战项目： 以某大厂流式计算中的实时数据仓库为基础，讲解实时数据仓库中涉及到的分布式流式数据处理平台架构，其中包含海量数据传输，存储，计，展示等大数据高端技术 课程目录： ├── 1.笔记 ├── 2.资料 ├── 3.视频 │ ├── 0 01 - 大数据 - 介绍.mp4 │ ├── 0 02 - 大数据 - 分布式存储架构原理.mp4 │ ├── 0 03 - 大数据 - 分布式存储架构原理 - 补充.mp4 │ ├── 0 04 - 大数据 - 分布式计算架构原理.mp4 │ ├── 0 05 - 大数据 - 数仓 - 介绍.mp4 │ ├── 0 06 - 大数据 - 系统架构 - 总览.mp4 │ ├── 0 07 - 大数据 - 系统架构 - 实时数仓架构.mp4 │ ├── 0 08 - 大数据 - Kafka - 课件说明.mp4 │ ├── 0 09 - 大数据 - Kafka - 消息队列 - 简介.mp4 │ ├── 0 10 - 大数据 - Kafka - 组件 - Broker.mp4 │ ├── 0 11 - 大数据 - Kafka - 组件 - Topic.mp4 │ ├── 0 12 - 大数据 - Kafka - 组件 - Partition.mp4 │ ├── 0 13 - 大数据 - Kafka - 组件 - Replica.mp4 │ ├── 0 14 - 大数据 - Kafka - 组件 - Log.mp4 │ ├── 0 15 - 大数据 - Kafka - 组件 - 通信RPC.mp4 │ ├── 0 16 - 大数据 - Kafka - 组件扩展 - controller.mp4 │ ├── 0 17 - 大数据 - Kafka - 组件扩展 - controller - 补充.mp4 │ ├── 0 18 - 大数据 - Kafka - 组件扩展 - 分区分配.mp4 │ ├── 0 19 - 大数据 - Kafka - 服务器推荐配置.mp4 │ ├── 0 20 - 大数据 - Kafka - 课程内容回顾 - RPC通信 - 源码.mp4 │ ├── 0 21 - 大数据 - Kafka - 生产者 - 生产数据.mp4 │ ├── 0 22 - 大数据 - Kafka - 生产者 - 发送数据基本原理.mp4 │ ├── 0 23 - 大数据 - Kafka - 生产者 - 生产数据的准备.mp4 │ ├── 0 24 - 大数据 - Kafka - 生产者 - 生产数据发送流程 - 采集器.mp4 │ ├── 0 25 - 大数据 - Kafka - 生产者 - 生产数据 - 拦截器实现.mp4 │ ├── 0 26 - 大数据 - Kafka - 生产者 - 生产数据 - 元数据请求和更新.mp4 │ ├── 0 27 - 大数据 - Kafka - 生产者 - 生产数据 - 分区选择.mp4 │ ├── 0 28 - 大数据 - Kafka - 生产者 - 生产数据 - 将数据缓存到采集器中.mp4 │ ├── 0 29 - 大数据 - Kafka - 生产者 - 生产数据 - Sender从采集器中获取数据发送到服务器.mp4 │ ├── 0 30 - 大数据 - Kafka - 生产者 - 生产数据 - 数据生产时出现的问题.mp4 │ ├── 0 31 - 大数据 - Kafka - 生产者 - 生产数据 - 服务器保存数据进行响应.mp4 │ ├── 0 32 - 大数据 - Kafka - 生产者 - 生产数据 - 流程梳理.mp4 │ ├── 0 33 - 大数据 - Kafka - 生产者 - 生产数据 - 流程梳理 - 1.mp4 │ ├── 0 34 - 大数据 - Kafka - 生产者 - 生产数据 - ACK应答机制.mp4 │ ├── 0 35 - 大数据 - Kafka - 生产者 - 生产数据 - ISR & OSR.mp4 │ ├── 0 36 - 大数据 - Kafka - 生产者 - 生产数据 - ISR & OSR - 小例子.mp4 │ ├── 0 37 - 大数据 - Kafka - 生产者 - 生产数据 - 同步数据.mp4 │ ├── 0 38 - 大数据 - Kafka - 生产者 - 生产数据 - 偏移量 - LSO & LEO & HW.mp4 │ ├── 0 39 - 大数据 - Kafka - 生产者 - 生产数据 - 偏移量 - LSO & LEO & HW - 小练习.mp4 │ ├── 0 40 - 大数据 - Kafka - 生产者 - 生产数据 - 事务 & 幂等性.mp4 │ ├── 0 41 - 大数据 - Kafka - 生产者 - 生产数据 - 偏移量 - LSO & LEO & HW - 源码.mp4 │ ├── 0 42 - 大数据 - Kafka - 消费数据 - 协调器，消费者组，消费策略.mp4 │ ├── 0 43 - 大数据 - Kafka - 消费数据 - 消费策略 - 范围策略.mp4 │ ├── 0 44 - 大数据 - Kafka - 消费数据 - 消费策略 - 轮询策略 & 粘性策略.mp4 │ ├── 0 45 - 大数据 - Kafka - 消费数据 - 重平衡.mp4 │ ├── 0 46 - 大数据 - Kafka - 消费数据 - 代码实现.mp4 │ ├── 0 47 - 大数据 - Kafka - 消费数据 - 协调器 & 位移主题.mp4 │ ├── 0 48 - 大数据 - Kafka - 消费数据 - 偏移量提交的代码实现.mp4 │ ├── 0 49 - 大数据 - Kafka - 消费数据 - 数据生产和消费的融合.mp4 │ ├── 0 50 - 大数据 - Kafka - 性能高的原因.mp4 │ ├── 0 51 - 大数据 - Flink - 介绍.mp4 │ ├── 0 52 - 大数据 - Flink - 架构描述.mp4 │ ├── 0 53 - 大数据 - Flink - 特性.mp4 │ ├── 0 54 - 大数据 - Flink - 分层架构.mp4 │ ├── 0 55 - 大数据 - Flink - 组件关系.mp4 │ ├── 0 56 - 大数据 - Flink - 编程模型 - API.mp4 │ ├── 0 57 - 大数据 - Flink - 开发环境准备.mp4 │ ├── 0 58 - 大数据 - Flink - 教学案例 - WordCount - 分析.mp4 │ ├── 0 59 - 大数据 - Flink - 教学案例 - WordCount - 设计.mp4 │ ├── 0 60 - 大数据 - Flink - 教学案例 - WordCount - 功能实现.mp4 │ ├── 0 61 - 大数据 - Flink - 教学案例 - WordCount - 梳理流程.mp4 │ ├── 0 62 - 大数据 - Flink - 教学案例 - WordCount - 流式处理.mp4 │ ├── 0 63 - 大数据 - Flink - 教学案例 - WordCount - 无界流处理.mp4 │ ├── 0 64 - 大数据 - Flink - 课程内容梳理.mp4 │ ├── 0 65 - 大数据 - Flink - 本地环境 - 搭建&监控.mp4 │ ├── 0 66 - 大数据 - Flink - 本地环境 - 提交应用程序.mp4 │ ├── 0 67 - 大数据 - Flink - 本地环境 - 设置并行度.mp4 │ ├── 0 68 - 大数据 - Flink - 本地环境 - 并行度 & Slot的关系.mp4 │ ├── 0 69 - 大数据 - Flink - 本地环境 - 操作链条（任务链）.mp4 │ ├── 0 70 - 大数据 - Flink - 程序 - 组成结构.mp4 │ ├── 0 71 - 大数据 - Flink - 程序 - 执行环境.mp4 │ ├── 0 72 - 大数据 - Flink - 程序 - 数据源.mp4 │ ├── 0 73 - 大数据 - Flink - 程序 - 自定义数据源.mp4 │ └── 0 74 - 大数据 - Flink - 程序 - 算子 - map.mp4
