如果你已经写过 Hive 或 Spark 的批处理任务，也调过 Flink 的实时链路，但被问「数据从业务库到报表要多久」「大促当天数据量翻十倍会不会崩」时心里没底，这门课值得先看它的三个卡点：分层怎么切、实时链路怎么保证不丢不重、存储与计算怎么横向扩。

它对着哪些实际工作场景

课里的设定是千亿级数据量下的实时数仓，不是单机跑通 demo。对应的场景很具体：业务库变更需要秒级进入数仓；ODS 到 DWD 要清洗和打宽，但不允许把全量数据反复重算；大屏和报表要求端到端延迟稳定在分钟以内；数据量涨上来后，加机器要能线性抗住，而不是改 SQL 改到崩。课程把这些问题放在一套通用方案里处理，而不只是讲某个组件的 API。

学完你能独立做什么

比较现实的验收标准是这几件事：能根据业务域设计实时数仓的分层和主题划分，而不是把所有表堆在一层；能搭出一条从数据接入、清洗、维表关联到指标输出的实时链路，并说清楚哪些环节是 exactly-once、哪些允许至少一次；能针对状态膨胀、数据倾斜、维表更新这几个高频问题给出可落地的调优方案；能规划存储选型和扩容方式，让系统在数据量增长后仍然保持可用的吞吐。这些能力是面试和实际项目里都会被追问的，课里围绕它们组织案例。

资料结构和使用顺序

内容按「架构总览 — 接入与分层 — 实时计算链路 — 存储与扩展 — 案例串讲」推进。建议不要一上来就挑某个组件的章节看，先把架构总览过一遍，弄清各层职责和边界，再回头补细节。案例部分适合在通读一遍之后动手复现，重点是看它如何在约束条件下做取舍，而不是照抄配置。

  • 有 Hive/Spark 批处理经验、但实时链路是零散的：主攻实时计算链路和状态管理部分。
  • 做过实时任务、但没设计过完整数仓分层：从架构总览和分层设计开始。
  • 主要负责维护、被扩容和数据倾斜困扰：直接看存储与扩展、调优案例。

不适合谁，以及一个提醒

完全没有大数据基础、没写过 SQL 和分布式任务的人，学起来会卡在组件概念上，建议先补基础计算引擎再回来。另外，课里讲的是通用企业级方案，不等于你们公司现有架构的答案，拿它去套时要先核对数据源类型、延迟要求和运维成本。把它当作一次架构推演的材料，比当作可直接复制的配置清单更有用。

课程目录

01 1、课程说明 02 2、数据接入层之spring boot构建数据收集服务 03 3、数据接入层之构建spring cloud 注册中心 04 4、数据接入层之收集服务注册 05 5、数据接入层之模拟数据代码编写 06 6、数据接入层之模拟数据联调接口以及效果演示 07 7、数据接入层之流量域app端业务数据结构讲解 08 8、数据接入层之流量域小程序端业务数据结构讲解 09 9、数据接入层之流量域pc端业务数据结构讲解 10 10、数据接入层之流量域数据采集架构讲解 11 11、数据接入层之模拟流量域数据采集代码编写1 12 12、数据接入层之模拟流量域数据采集代码编写2 13 13、数据接入层之kafka2安装 14 14、数据接入层之kafka2可用性测试 15 15、数据接入层之spring boot整合kafka 16 16、数据接入层之spring boot整合kafka联调测 17 17、实时计算服务之flink部署以及任务提交效果演示 18 18、数据仓库之hadoop安装讲解 19 19、数据仓库之flume讲解以及安装 20 20、数据仓库之flume同步数据 21 21、数据仓库之flume同步数据问题解决以及注意事项说 22 22、数据仓库之hive安装讲解 23 23、实时数据仓库之未分层带来的问题讲解 24 24、实时数据仓库之实时数据仓库之分层好处以及分层模型讲解 25 25、实时数据仓库之pc端商品流量数据模拟 26 26、实时数据仓库之pc端活动流量数据模拟 27 27、实时数据仓库之pc端购物车流量数据模拟 28 28、实时数据仓库之小程序端商品流量数据模拟 29 29、实时数据仓库之小程序端活动流量数据模拟 30 30、实时数据仓库之小程序端购物车流量数据模拟 31 31、实时数据仓库之app端活动流量数据模拟 32 32、实时数据仓库之app端购物车流量数据模拟 33 33、实时数据仓库之pc端流量补充信息模拟数据以及pc端日志 34 34、实时数据仓库之日志类型枚举设计 35 35、实时数据仓库之所有日志抽象日志类型讲解以及代码实现 36 36、实时数据仓库之数据收集服务优化以及调试 37 37、实时数据仓库之app流量域数据flume配置讲解以及同 38 38、实时数据仓库之pc端流量域数据flume配置讲解以及同 39 39、实时数据仓库之小程序端流量域数据flume配置讲解以及 40 40、实时数据仓库之Hive JsonSerde讲解 41 41、实时数据仓库之ODS层之app流量域数据映射外部表讲解 42 42、实时数据仓库之ODS层之app流量域数据外部分区表优化 43 43、实时数据仓库之ODS层之app流量域活动以及商品信息表 44 44、实时数据仓库之ODS层之pc端流量域购物车表构建 45 45、实时数据仓库之ODS层之pc端流量域活动以及商品表构建 46 46、实时数据仓库之ODS层之小程序端流量域表构建1 47 47、实时数据仓库之ODS层之小程序端流量域表构建2 48 48、实时数据仓库之linuxShell脚本讲解 49 49、实时数据仓库之linuxCrontab讲解 50 50、实时数据仓库之定时导入分区脚本编写以及定时任务设置 51 51、实时数据仓库DWD层之购物车整合流量域表构建 52 52、实时数据仓库DWD层之活动整合流量域表构建 53 53、实时数据仓库DWD层之商品整合流量域表构建 54 54、实时数据仓库DWD层之整合流量域表构建补充讲解 55 55、实时数据仓库DWD层之购物车基础数据转换整合 56 56、实时数据仓库DWD层之购物车基础数据转换整合补充 57 57、实时数据仓库DWD层之活动基础数据转换整合 58 58、实时数据仓库DWD层之商品基础数据转换整合 59 59、实时数据仓库DWD层之商品基础数据转换整合补充 60 60、实时数据仓库DWM层讲解以及表结构定义 61 61、实时数据仓库DWM层数据转换讲解 62 62、实时数据仓库DWD层异常数据处理 63 63、实时数据仓库DWD层异常数据处理sql调试以及解决 64 64、实时数据仓库DWM层子查询处理pc端设备信息 65 65、实时数据仓库DWS层讲解以及用户宽表结构定义 66 66、实时数据仓库DWM层表结构以及数据转换优化讲解 67 67、实时数据仓库DWS层用户宽表数据转换sql编写1 68 68、实时数据仓库DWS层用户宽表数据转换sql编写2 69 69、实时数据仓库DWS层用户宽表数据转换调试讲解 70 70、实时数据仓库DWS层商品宽表结构定义 71 71、实时数据仓库DWS层商品宽表数据转sql编写 72 72、实时数据仓库DWS层用户宽表月表 73 73、实时数据仓库DWS层用户宽表月表补充讲解 74 74、实时数据仓库DWS层商品宽表月表 75 75、实时数据仓库之sqoop讲解以及安装 76 76、实时数据仓库之商品域商品数据模拟 77 77、实时数据仓库之商品域商家以及用户数据模拟 78 78、实时数据仓库之商品域ODS层表构建 79 79、实时数据仓库之sqoop同步商品域数据 80 80、实时数据仓库之sqoop兼容性问题解决以及同步效果演示 81 81、实时数据仓库之商品域数据同步完善优化 82 82、实时数据仓库之营销域活动数据模拟 83 83、实时数据仓库之营销域团购数据模拟 84 84、实时数据仓库之营销域优惠劵数据模拟 85 85、实时数据仓库之营销域秒杀数据模拟 86 86、实时数据仓库之营销域红包数据模拟 87 87、实时数据仓库之交易域订单数据模拟1 88 88、实时数据仓库之交易域订单数据模拟2 89 89、实时数据仓库之营销域ODS层表构建 90 90、实时数据仓库之交易域ODS层表构建 91 91、实时数据仓库之批量同步营销域数据 92 92、实时数据仓库之批量同步交易域数据 93 93、实时数据仓库之binlog讲解 94 94、实时数据仓库之binlog日志查看 95 95、实时数据仓库之业务数据同步技术选型 96 96、实时数据仓库之canal详解 97 97、Canal+kafka实时同步业务数据 98 98、Canal+kafka实时同步业务数据效果演示 99 99、Flink1.9+kafka构建实时分析项目 100 100、实时数据仓库之业务数据topic构建 101 101、实时数据仓库之业务数据公共实体构建1 102 102、实时数据仓库之业务数据公共实体构建2 103 103、数据仓库之Flink实时转换同步业务数据代码 104 104、反射技术实时转换业务数据到数据仓库 105 105、FastJson解析binlog日志数据 106 106、实时数据仓库之flink实时转换业务数据代码 107 107、Flink过滤binlog业务数据代码 108 108、数据仓库之目标topic sink联调测试 109 109、Flume实时同步业务数据脚本及效果演示 110 110、实时数据仓库之hbase环境搭建 111 111、实时数据仓库之hbase 工具类代码编写 112 112、实时数据仓库之用户主题实时团购分析map代码 113 113、数据仓库之用户主题实时团购分析reduce 114 114、实时数据仓库之用户主题实时团购分析sink 115 115、用户主题实时团购数据存储hbase仓库 116 116、用户主题实时团购数据用户**成交团购分析 117 117、实时数据仓库之Redis环境构建 118 118、实时数据仓库之Redis使用讲解 119 119、实时数据仓库之Redis实现实时排名代码编写 120 120、实时数据仓库之实时优惠劵用户排行分析代码编写 121 121、数据仓库之app应用层终端使用类别分析sql 122 122、app应用层购物车操作分析sql编写 123 123、sqoop同步app层数据到mysql脚本 124 124、实时数据仓库之DIM层讲解以及构建 125 125、商品域DWD层表构建以及数据转换 126 126、营销域DWD层表构建以及数据转换 127 127、实时数据仓库之交易域DWD层表构建及数据转换 128 128、DWM层订单行为表构建以及数据转换sql编写 129 129、DWS层用户 店铺商家商品订单主题宽表及开发 130 130、实时数据仓库之app应用层团购订单分析开发 131 131、app应用层红包优惠劵指定活动秒杀活动订单 132 132、应用层团购红包优惠劵指定活动秒杀活动订单月表 133 133、app应用层终端使用、购物车月表分析开发 134 134、app层订单分析结果同步到mysql脚本1 135 135、app层订单分析结果同步到mysql脚本2 136 136、实时数据仓库之mycat详解 137 137、实时数据仓库之mycat安装1 138 138、实时数据仓库之mycat安装2以及演示 139 139、实时数据仓库之app层实时大盘收入报表1 140 140、实时数据仓库之app层实时大盘收入报表2 141 141、实时数据仓库之app层高付费用户综合报表 142 142、实时数据仓库之Greenplum讲解 143 143、实时数据仓库之Greenplum安装实战讲解 144 144、实时数据仓库之Greenplum使用讲解 145 145、Greenplum远程权限配置以及api使用 146 146、Greenplum特定时间店铺主题分析1 147 147、Greenplum特定时间店铺主题分析2 148 148、Greenplum特定时间店铺主题分析3 149 149、Greenplum特定时间店铺主题分析4 150 150、实时数据仓库之vue前端项目构建实战讲解 151 151、实时数据仓库之前端系统项目开发架构讲解 152 152、Vue.js+highcharts构建图表 153 153、实时数据仓库之大盘收入报表图表实战开发 154 154、实时数据仓库之高付费用户报表图表实战开发 155 155、实时数据仓库之流量域分析图表实战开发 156 156、实时数据仓库之营销域分析图表实战开发 157 157、实时数据仓库之用户主题分析图表实战开发 158 158、实时数据仓库之实时排行图表实战开发 159 159、实时数据仓库之特定时间店铺主题分析图表实战 160 160、实时数据仓库之后端接口服务构建 161 161、实时数据仓库之后端联调前端代码开发 162 162、实时数据仓库之后端联调大盘收入报表代码开发 163 163、实时数据仓库之后端联调高付费用户报表代码开发 164 164、实时数据仓库之后端联调流量域分析代码开发 165 165、实时数据仓库之后端联调营销域分析代码开发 166 166、后端联调用户主题以及实时排行分析 167 167、实时数据仓库之后端联调特定时间店铺主题分析 168 168、实时数据仓库之后端联调代码开发补充 169 169、实时数据仓库之大盘收入报表后端接口实现 170 170、实时数据仓库之高付费用户报表接口实现 171 171、实时数据仓库之流量域以及营销域接口实现1 172 172、实时数据仓库之流量域以及营销域接口实现2 173 173、实时数据仓库之用户主题实时分析完善代码讲解 174 174、实时数据仓库之用户主题接口代码讲解 175 175、实时数据仓库之实时排行榜分析完善讲解 176 176、实时数据仓库之实时排行榜分析接口代码讲解 177 177、实时数据仓库之特定时间店铺主题分析接口 178 178、实时数据仓库性能优化之缓存优化 179 结课考试