这门数仓实战课值不值得学
很多做后端或传统数据库的人想转大数据，往往卡在只会写单机脚本，面对海量数据时束手无策。这门课解决的核心问题就是：怎么用 Spark 做分布式计算，配合 ClickHouse 做 OLAP 存储，从零搭出一个能跑通的企业级数据仓库。它不空谈架构理论，而是把离线同步、数据清洗、维度建模、海量数据查询这些真实工作场景揉进一个完整项目里。如果你正卡在“懂点 SQL 但没碰过大数据组件”，或者想补齐数仓这块短板去应对大厂面试，这套资料的切入点很实在。
适合什么基础与学习顺序建议
资料不适合完全零基础的人，它默认你已经熟悉常规 SQL 操作，懂基本的 Java 语法，最好接触过 Linux 命令行。拿到资料后，建议先看工程环境搭建和多模块构建那几节，这是后续跑通代码的地基。接着直接进入数据处理准备阶段，重点看 IP 地址转换和二分查找这类通用数据处理逻辑。这部分看似基础，却是日志解析和用户地域归属计算的常见痛点。不要跳过这些直接去看复杂业务，底层转换逻辑搞不懂，后面的数仓分层会变成空中楼阁。
学完能独立做什么及资料配合方法
跟着完整走一遍，你能独立完成一套标准数仓的物理搭建。从用 Maven 管理多模块 Spark 工程，到编写分布式清洗任务，再到把聚合结果导入 ClickHouse 实现秒级查询，整个链路能自己闭环。配合资料练习时，不要只看视频，必须把源码拉到本地 IDEA 里亲自编译运行。视频里演示的 IP 转换和二分查找逻辑，自己写一遍测试用例，换一批数据验证边界情况。环境搭建部分容易踩坑，遇到版本冲突不要直接跳过，把依赖版本对齐的过程当成必经的练习。只有代码在你自己机器上跑通，这套数仓架构才算真正变成你的经验。
课程目录
* 6-2 项目业务流程与技术架构.mp4 03:26
* 6-3 ODS数据同步技术架构.mp4 05:10
* 6-4 基于HDFS API的数据同步.mp4 17:30
* 6-5 基于HDFS API的数据同步工具封装.mp4 17:37
* 6-6 业务数据库的数据同步.mp4 11:48
* 6-7 【阶段作业】Spark如何读取配置文件？
* 6-8 【阶段作业】HDFS数据同步多线程优化
* 第7章 快速上手OLAP分析引擎ClickHouse/
* 7-1 本章概览.mp4 01:56
* 7-2 初识OLAP分析引擎ClickHouse.mp4 13:10
* 7-3 ClickHouse与MySQL、Hbase、Elasticsearch.mp4 05:38
* 7-4 ClickHouse单机版安装.mp4 02:22
* 7-5 ClickHouse快速入门.mp4 06:55
* 7-6 ClickHouse-client使用.mp4 14:28
* 7-7 ClickHouse常用的数据格式
* 7-8 可视化工具DBeaver安装配置.mp4 05:35
* 7-9 ClickHouse表引擎快速入门.mp4 05:43
* 7-10 ClickHouse学习建议.mp4 07:44
* 第8章 基于Spark源码自定义ClickHouse外部数据源，简化数据写入流程/
* 8-1 本章概览.mp4 02:15
* 8-2 JDBC操作ClickHouse.mp4 15:35
* 8-3 使用Spark将数据写入ClickHouse.mp4 14:45
* 8-4 Spark写ClickHouse的配置化改造.mp4 13:13
* 8-5 在Spark中集成写ClickHouse的通用能力.mp4 22:52
* 8-6 基于Spark源码自定义ClickHouse外部数据源.mp4 20:46
* 第9章 数仓高级之维度模型设计/
* 9-1 本章概览.mp4 02:24
* 9-2 维度相关基本概念.mp4 05:43
* 9-3 维度设计的基本方法.mp4 03:08
* 9-4 维度设计的反规范化.mp4 03:08
* 9-5 一致性维度集成.mp4 03:57
* 9-6 维度模型设计原则和方式.mp4 10:07
* 9-7 缓慢变化维度SCD.mp4 12:40
* 9-8 维度的层次关系.mp4 06:29
* 9-9 其他常见的维度模型.mp4 06:05
* 9-10 【面试官来啦】面试讨论题
* 第10章 【项目实战第二篇】构建项目公共维度层/
* 10-1 本章概览.mp4 01:56
* 10-2 反规范化维度合并之应用内容的模型设计与实现.mp4 18:41
* 10-3 公共方法封装.mp4 04:41
* 10-4 维度合并拆分之IP域名备案模型设计.mp4 02:28
* 10-5 IP域名备案维度代码实现.mp4 08:43
* 10-6 违规IP域名数据入库.mp4 07:42
* 10-7 维度层次结构扁平化之IP地址段区域维度模型设计.mp4 03:46
* 10-8 IP地址段区域维度代码实现.mp4 10:26
* 10-9 【阶段作业】ClickHouse的覆盖写功能
* 第11章 ClickHouse的MergeTree系列引擎原理、实践与优化/
* 11-1 本章概览.mp4 02:29
* 11-2 表引擎概述.mp4 04:36
* 11-3 MergeTree引擎.mp4 14:07
* 11-4 表/列的TTL生命周期
* 11-5 数据片段存储合并机制与自定义分区.mp4 12:41
* 11-6 主键、索引、数据标记的工作机制.mp4 08:34
* 11-7 性能优化利器之跳数索引的基本使用.mp4 26:18
* 11-8 性能优化利器之跳数索引实现原理与使用场景.mp4 11:31
* 11-9 【重难点梳理】性能优化利器之跳数索引
* 11-10 性能优化利器之Projection.mp4 18:30
* 11-11 【重难点梳理】性能优化利器之Projection
* 11-12 【阶段作业】Projection的使用有哪些限制？
* 11-13 ReplacingMergeTree引擎.mp4 09:10
* 11-14 【重难点梳理】ReplacingMergeTree引擎
* 11-15 SummingMergeTree引擎.mp4 05:22
* 11-16 【重难点梳理】SummingMergeTree引擎
* 11-17 AggregatingMergeTree引擎.mp4 11:18
* 11-18 【重难点梳理】AggregatingMergeTree引擎
* 11-19 CollapsingMergeTree引擎.mp4 08:32
* 11-20 【重难点梳理】CollapsingMergeTree引擎
* 11-21 VersionedCollapsingMergeTree引擎.mp4 04:21
* 11-22 【重难点梳理】VersionedCollapsingMergeTree引擎
* 11-23 MergeTree系列引擎选型对比.mp4 11:09
* 11-24 数据实时更新删除.mp4 13:02
* 11-25 【重难点梳理】如何实现数据的实时更新删除
* 第12章 数仓高级之事实表模型设计/
* 12-1 本章概览.mp4 01:34
* 12-2 事实表设计过程.mp4 09:10
* 12-3 事务、无事实事实表模型设计.mp4 08:03
* 12-4 多事务事实表模型设计.mp4 06:58
* 12-5 周期快照事实表模型设计.mp4 04:24
* 12-6 累积快照事实表模型设计.mp4 08:12
* 12-7 聚集事实表模型设计.mp4 03:17
* 12-8 六类事实表对比.mp4 03:21
* 12-9 【面试官来啦】面试讨论题
* 第13章 【项目实战第三篇】数据清洗加工，构建项目数据明细层/
* 13-1 本章概览.mp4 01:58
* 13-2 事务无事实事实表模型建模.mp4 05:40
* 13-3 日志事务事实表代码实现（上）.mp4 16:20
* 13-4 日志事务事实表代码实现（下）.mp4 13:53
* 13-5 日志拦截无事实事实表代码实现.mp4 08:46
* 13-6 累计快照事实表建模与代码实现.mp4 06:50
* 13-7 Spark资源参数调优.mp4 18:42
* 13-8 【重难点梳理】Spark资源参数调优
* 13-9 大数据量场景下的程序部署与优化实践.mp4 11:19
* 13-10 周期性快照事实表模型设计与实现.mp4 09:57
* 13-11 【重难点梳理】周期性快照事实表模型设计与实现
* 13-12 【面试官来啦】面试讨论题
* 13-13 【阶段作业】结合数据进行模型设计
* 第14章 构建ClickHouse分布式集群，掌握分布式环境的数据查询、写入优化方案/
* 14-1 本章概览.mp4 01:08
* 14-2 集群规划与环境准备.mp4 09:02
* 14-3 ClickHouse集群安装配置.mp4 13:55
* 14-4 ClickHouse集群功能验证.mp4 12:05
* 14-5 ClickHouse的原子写入与去重.mp4 04:05
* 14-6 ClickHouse分布式集群部署
* 14-7 Zookeeper关键优化点
* 14-8 复制表与副本同步机制.mp4 07:21
* 14-9 分布式表与本地表.mp4 06:13
* 第15章 【项目实战第四篇】负载均衡与高可用方案实践，自定义Spark写本地分片表策略/
* 15-1 本章概览.mp4 01:40
* 15-2 负载均衡与高可用五问.mp4 03:54
* 15-3 分布式请求的副本高可用和负载均衡.mp4 03:16
* 15-4 基于代码层面的负载均衡与高可用.mp4 03:17
* 15-5 基于Nginx反向代理TCP与HTTP的负载均衡与高可用.mp4 18:31
* 15-6 【重难点梳理】基于Nginx反向代理TCP/HTTP的负载均衡与高可用
* 15-7 基于Chproxy的负载均衡与高可用.mp4 14:32
* 15-8 【重难点梳理】基于Chproxy的负载均衡与高可用
* 15-9 Spark如何写本地表方案.mp4 05:00
* 15-10 Spark写本地表之随机策略代码实现.mp4 16:16
* 15-11 Spark写本地表之轮询策略代码实现.mp4 04:39
* 15-12 大数据量场景写ClickHouse集群的程序部署与优化.mp4 09:34
* 15-13 Spark自定义分片路由与方案总结.mp4 03:24
* 15-14 【面试官来啦】面试讨论题
* 15-15 【阶段作业】Spark实现分片key的自定义路由策略
* 第16章 【项目实战第五篇】如何选择合适的维度表存储方案/
* 16-1 本章概览.mp4 02:01
* 16-2 Log系列引擎.mp4 05:47
* 16-3 MySQL引擎.mp4 09:30
* 16-4 【重难点梳理】MySQL引擎
* 16-5 HDFS引擎与HA配置.mp4 09:32
* 16-6 【重难点梳理】HDFS引擎与HA配置
* 16-7 高性能数据检索的RocksDB引擎.mp4 09:44
* 16-8 【重难点梳理】高性能数据检索的RocksDB引擎
* 16-9 Kafka引擎
* 16-10 JDBC引擎引擎
* 16-11 Merge表引擎.mp4 05:03
* 16-12 【重难点梳理】Merge表引擎
* 16-13 Join表引擎.mp4 07:51
* 16-14 【重难点梳理】Join表引擎
* 16-15 深入浅出ClickHouse数据字典（上）.mp4 20:47
* 16-16 深入浅出ClickHouse数据字典（下）.mp4 15:25
* 16-17 【重难点梳理】深入浅出ClickHouse数据字典
* 16-18 分布式场景的表关联子查询的运行流程与优化.mp4 04:29
* 16-19 分布式场景下的维度表存储选型优化.mp4 05:59
* 16-20 项目的维度表存储优化.mp4 11:52
* 16-21 【重难点梳理】项目的维度表存储优化
* 第17章 【项目实战第六篇】数据汇总层与应用查询优化/
* 17-1 本章概览.mp4 01:40
* 17-2 主键与排序键优化.mp4 06:11
* 17-3 聚合查询优化.mp4 04:45
* 17-4 物化视图提速.mp4 05:05
* 17-5 DWS层之IP流量监测主题.mp4 14:43
* 17-6 【重难点梳理】DWS层之构建IP流量监测
* 17-7 DWS层之区域流量分析主题.mp4 11:20
* 17-8 【重难点梳理】DWS层之构建区域流量分析主题
* 17-9 构建数据应用层(ADS).mp4 16:42
* 17-10 【重难点梳理】构建AWS数据应用层
* 17-11 应用查询优化案例.mp4 06:21
* 17-12 【重难点梳理】应用查询优化案例
* 17-13 数据写入与查询优化常用经验法则.mp4 02:12
* 17-14 【阶段作业】构建违规IP/域名的上下行流量聚集事实表汇总模型
* 第18章 【项目实战第七篇】基于轻量级BI工具的数据展示与可视化监控/
* 18-1 本章概览.mp4 01:41
* 18-2 基于轻量级BI工具的数据可视化效果.mp4 02:16
* 18-3 Superset环境搭建与基本使用.mp4 13:02
* 18-4 【重难点梳理】Superset环境搭建与基本使用
* 18-5 Superset查询分析可视化展示.mp4 10:50
* 18-6 Grafana的安装与ClickHouse数据源管理.mp4 07:15
* 18-7 【重难点梳理】Grafana的安装与ClickHouse数据源管理
* 18-8 Granfana查询分析可视化展示.mp4 09:14
* 18-9 ClickHouse监控概述.mp4 02:32
* 18-10 ClickHouse系统表+ Granfana可视化监控.mp4 02:54
* 18-11 Promethues安装与ClickHouse的metric采集.mp4 04:26
* 18-12 【重难点梳理】Promethues安装与ClickHouse的metric采集
* 18-13 prometheus + Granfana可视化监控.mp4 03:34
* 第19章 数仓管理之调度系统DolphinScheduler 3.x/
* 19-1 本章概览.mp4 03:51
* 19-2 我们为什么需要配合调度系统.mp4 07:32
* 19-3 DolphinScheduler单机部署.mp4 04:32
* 19-4 快速上手DolphinScheduler.mp4 12:27
* 19-5 DolphinScheduler源码编译.mp4 02:43
* 19-6 DolphinScheduler伪集群安装.mp4 14:45
* 19-7 【重难点梳理】dolphinscheduler集群部署
* 19-8 工作流管理之子流程管理.mp4 03:41
* 19-9 工作流管理之依赖检查管理.mp4 07:51
* 19-10 工作流管理之Conditions条件分支判断.mp4 05:16
* 19-11 工作流管理之Switch条件分支判断.mp4 04:24
* 19-12 本地和HDFS两种文件资源管理方式.mp4 15:52
* 19-13 内置参数、本地参数、全局参数和参数传递.mp4 14:12
* 19-14 如何动态生成自定义参数.mp4 08:15
* 19-15 Spark任务节点管理.mp4 10:05
* 19-16 流程告警管理.mp4 07:11
* 19-17 数仓项目之文件数据源同步.mp4 20:37
* 19-18 数仓项目之Spark工作流调度.mp4 09:23
* 第20章 构建现代数据技术栈的元数据管理平台/
* 20-1 本章概览.mp4 04:00
* 20-2 为什么数仓管理中需要元数据管理.mp4 11:50
* 20-3 元数据体系架构的演进.mp4 10:12
* 20-4 DataHub的元数据体系架构.mp4 07:03
* 20-5 DataHub元数据系统搭建.mp4 09:41
* 20-6 基于Pull(拉取）流程的元数据摄取.mp4 03:29
* 20-7 基于Pull的元数据摄取实践.mp4 06:56
* 20-8 DataHub的MetaData元数据模型.mp4 07:48
* 20-9 基于Kafka的Sink接收器同步MySQL元数据.mp4 06:54
* 20-10 ClickHouse的元数据摄取实践.mp4 06:08
* 20-11 可视化BI工具的元数据摄取.mp4 02:52
* 20-12 构建数据集之间的血缘链路实践.mp4 05:18
* 20-13 构建数据集与可视化BI工具的血缘链路实践.mp4 04:08
* 20-14 自定义基于元数据事件的实时响应流程
* 第21章 通用数据质量管理实践/
* 21-1 本章概览.mp4 03:29
* 21-2 如果数仓不考虑数据质量会有什么危害.mp4 06:31
* 21-3 数据质量评估标准.mp4 05:55
* 21-4 数据质量管理架构与数据模型.mp4 08:23
* 21-5 通用数据质量管理工具之配置逻辑.mp4 16:28
* 21-6 通用数据质量管理工具之代码实践.mp4 19:54
* 21-7 通用数据质量管理工具之历史周期性质量指标对比.mp4 07:36
* 21-8 单数据源的检查之唯一性校验.mp4 06:30
* 21-9 单数据源的检查之表字段长度校验.mp4 04:51
* 21-10 单数据源的检查之表记录数检查.mp4 03:20
* 21-11 单数据源的检查之枚举值校验.mp4 04:10
* 21-12 多数据源检查之准确性检查.mp4 05:39
* 21-13 【阶段作业】及时性检查和多数据源的值对比功能
