人工精选【精品课】大数据仓库项目实战
这门课解决什么工作场景 很多做后端开发、数据分析或刚转行做数据的上班族,常会遇到一个卡点:单表查询写得很溜,集群工具也照着文档搭过,可一旦被主管要求“把几个业务系统的数据汇到一起,做一套能支撑报表和看板的底层数仓”,就不知道从哪里下手。这门大数据仓库项目实战课,瞄准的就是这种从零搭数仓的实操盲区。它
会员 · 按档位
游客按标价购买,不享受上表折扣。
支付成功后自动发放网盘链接,链接失效可找客服免费补
这门课解决什么工作场景
很多做后端开发、数据分析或刚转行做数据的上班族,常会遇到一个卡点:单表查询写得很溜,集群工具也照着文档搭过,可一旦被主管要求“把几个业务系统的数据汇到一起,做一套能支撑报表和看板的底层数仓”,就不知道从哪里下手。这门大数据仓库项目实战课,瞄准的就是这种从零搭数仓的实操盲区。它不纠结于某一项引擎的参数调优,而是把一个完整的智慧社区业务场景搬过来,带你走一遍项目立项、需求拆解、数据分层、落库和对外提供数据服务的全过程。学它的意义不在于背下多少概念,而在于弄懂“公司里那些散落在各个子系统里的业务数据,是怎么一步步变成老板能看懂的经营指标的”。
适合什么基础与建议先看的重点
这套资料适合已经写过 SQL、对关系型数据库有基本概念,并且接触过 Hadoop 生态部分组件的人。如果你连基本的连表查询和分组聚合都不熟练,建议先补足数据库基础再来,否则到了分层建模环节容易卡壳。拿到资料后,不要从第一集按部就班往后看。建议先跳到“数据仓库概述”里的数仓与数据库对比那几节,花半小时把OLTP和OLAP的区别弄透,建立宏观认知。接着直接看“项目需求分析”里关于智慧社区子系统的介绍,弄清这个项目到底在处理哪些业务线的数据。有了这个业务底座,再回头看项目规划和可行性评估,你就能理解为什么数仓建设要先定业务范围、为什么人员配备要分数据产品和工程角色,而不是一头扎进技术细节里空转。
资料怎么配合练习与学完能做什么
看视频时最大的忌讳就是只当爽文看,跟着讲师的演示点头,自己却不动手。正确的用法是:准备一个本地的练习环境,或者用云端的低成本测试集群。讲师讲到智慧社区的某个子系统需求时,暂停视频,自己先在纸上画一画这个业务模块会产生哪些核心实体,试着划分一下源数据层、明细层和汇总层。画完再继续看视频里的落地方案,对比自己的思路哪里漏了维度、哪里聚合粒度定错了。遇到具体建模和落库的实操部分,一定要把视频里的逻辑用 SQL 在自己的环境里跑通,哪怕用的是缩减版的模拟数据。把这套流程完整顺下来,学完后你至少能独立承担一个中等规模业务线的数据仓库搭建任务:从拿到业务方的原始需求开始,评估数据可行性,规划分层架构,设计维度表和事实表,把分散在各业务库的数据清洗加工成统一的指标,最终交付给前端报表工具使用。这对想往数据开发或数据架构方向转的人来说,是一块很实在的敲门砖。
课程目录
课程目录203 集
- 1-1 [课程介绍] 数仓项目课程介绍 (15:49).mp4
- 2-1 [数据仓库概述] 何为数据仓库 (11:32).mp4
- 2-2 [数据仓库概述] 数据仓库VS数据库 (08:09).mp4
- 2-3 [数据仓库概述] 数仓的由来 (09:43).mp4
- 2-4 [数据仓库概述] 何为大数据仓库 (13:15).mp4
- 2-5 [数据仓库概述] 数仓的价值与作用 (06:05).mp4
- 2-6 [数据仓库概述] 大数据仓库的应用场景 (02:44).mp4
- 3-1 [数仓项目规划] 项目可行性评估 (07:34).mp4
- 3-2 [数仓项目规划] 业务范围确定 (04:06).mp4
- 3-3 [数仓项目规划] 项目人员配备 (08:29).mp4
- 4-1 [项目需求分析] 智慧社区项目背景 (04:14).mp4
- 4-2 [项目需求分析] 智慧社区子系统介绍1 (07:59).mp4
- 4-3 [项目需求分析] 智慧社区子系统介绍2 (07:48).mp4
- 4-4 [项目需求分析] 智慧社区子系统介绍3 (07:02).mp4
- 4-5 [项目需求分析] 智慧社区子系统4 (06:20).mp4
- 4-6 [项目需求分析] 项目需求分析 (09:21).mp4
- 5-1 [架构设计与技术选型] 数仓总体架构 (04:09).mp4
- 5-2 [架构设计与技术选型] 技术选型 (07:08).mp4
- 5-3 [架构设计与技术选型] 技术架构 (06:26).mp4
- 5-4 [架构设计与技术选型] 数据流程设计 (03:28).mp4
- 5-5 [架构设计与技术选型] 技术版本选择与集群规划 (02:31).mp4
- 6-1 [大数据集群节点准备] 大数据集群节点准备 (03:24).mp4
- 6-2 [大数据集群节点准备] VMware虚拟机软件安装配置 (17:02).mp4
- 6-3 [大数据集群节点准备] Linux操作系统介绍 (09:15).mp4
- 6-4 [大数据集群节点准备] Linux操作系统安装1 (11:23).mp4
- 6-5 [大数据集群节点准备] VMware三种网络类型详解 (16:47).mp4
- 6-6 [大数据集群节点准备] Linux操作系统安装2 (15:40).mp4
- 6-7 [大数据集群节点准备] Linux系统网络配置 (08:21).mp4
- 6-8 [大数据集群节点准备] Linux虚拟机克隆 (04:43).mp4
- 6-9 [大数据集群节点准备] Linux静态IP技术 (05:11).mp4
- 6-10 [大数据集群节点准备] x-shell远程连接工具使用 (06:02).mp4
- 6-11 [大数据集群节点准备] Linux用户和用户组创建 (07:42).mp4
- 6-12 [大数据集群节点准备] Linux主机名配置 (03:17).mp4
- 6-13 [大数据集群节点准备] Linux防火墙配置 (04:07).mp4
- 6-14 [大数据集群节点准备] openssh-clients服务安装 (02:40).mp4
- 6-15 [大数据集群节点准备] Linux主机名与IP地址映射配置 (06:35).mp4
- 6-16 [大数据集群节点准备] SSH免密码登录 (10:22).mp4
- 6-17 [大数据集群节点准备] FileZilla工具使用 (05:27).mp4
- 6-18 [大数据集群节点准备] 节点2所有配置 (17:05).mp4
- 6-19 [大数据集群节点准备] 节点3所有配置 (12:19).mp4
- 7-1 [Zookeeper分布式协调系统] Zookeeper分布式协调服务 (01:49).mp4
- 7-2 [Zookeeper分布式协调系统] Zookeeper概述 (09:29).mp4
- 7-3 [Zookeeper分布式协调系统] Zookeeper架构原理 (10:41).mp4
- 7-4 [Zookeeper分布式协调系统] Zookeeper读写流程 (09:16).mp4
- 7-5 [Zookeeper分布式协调系统] Zookeeper服务 (10:38).mp4
- 7-6 [Zookeeper分布式协调系统] Zookeeper安装模式及不同厂商版本选择 (13:54).mp4
- 7-7 [Zookeeper分布式协调系统] Zookeeper集群规划 (06:11).mp4
- 7-8 [Zookeeper分布式协调系统] 搭建时钟同步服务器 (16:39).mp4
- 7-9 [Zookeeper分布式协调系统] 集群节点IP地址映射与防火墙配置 (03:56).mp4
- 7-10 [Zookeeper分布式协调系统] 集群节点SSH免密码登录 (07:42).mp4
- 7-11 [Zookeeper分布式协调系统] 集群脚本配置文件开发 (05:45).mp4
- 7-12 [Zookeeper分布式协调系统] 集群分发shell脚本开发 (25:25).mp4
- 7-13 [Zookeeper分布式协调系统] 集群远程执行shell脚本开发 (12:30).mp4
- 7-14 [Zookeeper分布式协调系统] 集群JDK安装配置 (17:58).mp4
- 7-15 [Zookeeper分布式协调系统] Zookeeper集群安装部署 (18:01).mp4
- 8-1 [HDFS分布式文件系统] HDFS分布式文件系统 (01:49).mp4
- 8-2 [HDFS分布式文件系统] hdfs特点 (07:24).mp4
- 8-3 [HDFS分布式文件系统] hdfs体系架构 (13:10).mp4
- 8-4 [HDFS分布式文件系统] hdfs读数据流程 (04:15).mp4
- 8-5 [HDFS分布式文件系统] hdfs写数据流程 (03:57).mp4
- 8-6 [HDFS分布式文件系统] NameNode HA工作原理 (09:03).mp4
- 8-7 [HDFS分布式文件系统] ZKFC工作原理 (06:48).mp4
- 8-8 [HDFS分布式文件系统] QJM工作原理与防止脑裂 (09:49).mp4
- 8-9 [HDFS分布式文件系统] NameNode主备切换完成流程详解 (04:36).mp4
- 9-1 [YARN资源管理系统] YARN资源管理系统 (02:05).mp4
- 9-2 [YARN资源管理系统] YARN概述 (07:20).mp4
- 9-3 [YARN资源管理系统] YARN与MapReduce之间的关系 (02:47).mp4
- 9-4 [YARN资源管理系统] YARN基本架构 (09:41).mp4
- 9-5 [YARN资源管理系统] MapReduce ON YARN (08:09).mp4
- 9-6 [YARN资源管理系统] YARN HA高可用 (06:39).mp4
- 10-1 [Hadoop分布式集群搭建] 构建Hadoop分布式集群 (02:35).mp4
- 10-2 [Hadoop分布式集群搭建] HDFS分布式文件系统安装配置 (35:38).mp4
- 10-3 [Hadoop分布式集群搭建] HDFS服务启动与测试 (18:51).mp4
- 10-4 [Hadoop分布式集群搭建] HDFS文件系统测试运行 (08:34).mp4
- 10-5 [Hadoop分布式集群搭建] YARN集群安装配置 (06:29).mp4
- 10-6 [Hadoop分布式集群搭建] YARN服务启动与测试 (05:18).mp4
- 10-7 [Hadoop分布式集群搭建] YARN测试运行 (08:19).mp4
- 10-8 [Hadoop分布式集群搭建] HDFS HA和YARN HA 故障转移实战演示 (09:42).mp4
- 10-9 [Hadoop分布式集群搭建] Hadoop默认配置详解 (12:36).mp4
- 11-1 [MapReduce离线计算框架] MapReduce离线计算 (01:55).mp4
- 11-2 [MapReduce离线计算框架] MapReduce概述 (11:42).mp4
- 11-3 [MapReduce离线计算框架] MapReduce基本设计思想 (05:32).mp4
- 11-4 [MapReduce离线计算框架] MapReduce编程模型 (10:00).mp4
- 11-5 [MapReduce离线计算框架] MapReduce案例分析 (04:54).mp4
- 12-1 [智慧社区业务表结构及数据导入] 智慧社区业务表介绍 (02:44).mp4
- 12-2 [智慧社区业务表结构及数据导入] 车辆表结构介绍与数据导入 (05:20).mp4
- 12-3 [智慧社区业务表结构及数据导入] 业主表结构介绍与数据导入 (03:51).mp4
- 12-4 [智慧社区业务表结构及数据导入] 房间表结构介绍与数据导入 (02:05).mp4
- 12-5 [智慧社区业务表结构及数据导入] 楼栋表结构介绍与数据导入 (01:53).mp4
- 12-6 [智慧社区业务表结构及数据导入] 小区表结构介绍与数据导入 (01:54).mp4
- 12-7 [智慧社区业务表结构及数据导入] 地区表结构介绍与数据导入 (02:44).mp4
- 12-8 [智慧社区业务表结构及数据导入] 时间表结构介绍与数据导入 (02:25).mp4
- 12-9 [智慧社区业务表结构及数据导入] 车辆进出表结构介绍与数据导入 (02:39).mp4
- 12-10 [智慧社区业务表结构及数据导入] 门禁表结构介绍与数据导入 (02:43).mp4
- 13-1 [Hive大数据离线分析] Hive大数据离线分析 (03:01).mp4
- 13-2 [Hive大数据离线分析] Hive概述 (05:59).mp4
- 13-3 [Hive大数据离线分析] Hive体系结构及原理 (08:32).mp4
- 13-4 [Hive大数据离线分析] HiveMetaStore安装方式与Hive部署方式 (04:22).mp4
- 13-5 [Hive大数据离线分析] MySQL元数据库安装 (11:46).mp4
- 13-6 [Hive大数据离线分析] Hive安装配置 (12:29).mp4
- 13-7 [Hive大数据离线分析] Hive服务启动与测试 (07:10).mp4
- 14-1 [Sqoop数据导入导出] Sqoop数据导入导出 (01:47).mp4
- 14-2 [Sqoop数据导入导出] Sqoop数据导入导出原理 (10:50).mp4
- 14-3 [Sqoop数据导入导出] Sqoop安装部署 (20:24).mp4
- 14-4 [Sqoop数据导入导出] Sqoop将MySQL数据导入HDFS (22:29).mp4
- 14-5 [Sqoop数据导入导出] Sqoop将HDFS数据导入MySQL (30:53).mp4
- 14-6 [Sqoop数据导入导出] 利用Sqoop实现Hive与MySQL数据导入导出 (16:19).mp4
- 14-7 [Sqoop数据导入导出] MySQL数据库乱码以及访问权限问题解决 (05:15).mp4
- 15-1 [数仓建模理论] 数仓建模目标 (07:26).mp4
- 15-2 [数仓建模理论] 关系范式模式介绍 (04:51).mp4
- 15-3 [数仓建模理论] 数据库范式优缺点 (04:34).mp4
- 15-4 [数仓建模理论] 第一范式(1NF) (03:20).mp4
- 15-5 [数仓建模理论] 第二范式(2NF) (04:13).mp4
- 15-6 [数仓建模理论] 第三范式(3NF) (02:45).mp4
- 15-7 [数仓建模理论] ER实体模型 (14:42).mp4
- 15-8 [数仓建模理论] 维度建模-事实表 (04:16).mp4
- 15-9 [数仓建模理论] 维度建模-维度表 (08:35).mp4
- 15-10 [数仓建模理论] 星型模型与雪花模型介绍 (04:05).mp4
- 15-11 [数仓建模理论] 雪花模型与星型模型对比 (03:05).mp4
- 15-12 [数仓建模理论] 维度建模模型如何选择 (02:47).mp4
- 15-13 [数仓建模理论] DataVault模型与Anchor模型 (08:34).mp4
- 15-14 [数仓建模理论] 主流建模方法对比 (08:21).mp4
- 15-15 [数仓建模理论] 数仓架构为什么分层? (04:07).mp4
- 15-16 [数仓建模理论] 数据源与ETL (03:36).mp4
- 15-17 [数仓建模理论] ODS原始数据层 (02:45).mp4
- 15-18 [数仓建模理论] DWD明细数据层 (03:55).mp4
- 15-19 [数仓建模理论] 维度建模过程 (08:44).mp4
- 15-20 [数仓建模理论] DWS服务数据层 (01:56).mp4
- 15-21 [数仓建模理论] DM与ADS的区别与联系 (03:13).mp4
- 15-22 [数仓建模理论] 数据集市与数据仓库的区别与联系 (02:31).mp4
- 16-1 [数仓设计规范] 数据埋点规范 (10:20).mp4
- 16-2 [数仓设计规范] 数仓层次规范 (03:26).mp4
- 16-3 [数仓设计规范] 表命名规范 (09:02).mp4
- 16-4 [数仓设计规范] 字段命名规范 (04:14).mp4
- 16-5 [数仓设计规范] 脚本命名规范 (06:46).mp4
- 16-6 [数仓设计规范] 脚本开发规范 (05:56).mp4
- 16-7 [数仓设计规范] 数仓元数据库设计 (07:13).mp4
- 17-1 [搭建数仓ODS层] 数仓ODS层介绍 (04:33).mp4
- 17-2 [搭建数仓ODS层] 数据同步策略 (05:01).mp4
- 17-3 [搭建数仓ODS层] 搭建数仓ODS层-车辆进出1 (14:24).mp4
- 17-4 [搭建数仓ODS层] 搭建数仓ODS层-车辆进出2 (03:40).mp4
- 17-5 [搭建数仓ODS层] 搭建数仓ODS层-车辆进出3 (04:50).mp4
- 17-6 [搭建数仓ODS层] 搭建数仓ODS层-门禁日志 (08:28).mp4
- 17-7 [搭建数仓ODS层] 搭建数仓ODS层-车辆 (06:52).mp4
- 17-8 [搭建数仓ODS层] 搭建数仓ODS层-社区 (05:25).mp4
- 17-9 [搭建数仓ODS层] 搭建数仓ODS层-业主 (05:43).mp4
- 17-10 [搭建数仓ODS层] 搭建数仓ODS层-地区 (05:08).mp4
- 17-11 [搭建数仓ODS层] 搭建数仓ODS层-楼栋 (04:19).mp4
- 17-12 [搭建数仓ODS层] 搭建数仓ODS层-房间 (05:00).mp4
- 17-13 [搭建数仓ODS层] 搭建数仓ODS层-日期 (05:16).mp4
- 18-1 [搭建数仓DWD层] 搭建数仓DWD层-数仓DWD层概述 (03:38).mp4
- 18-2 [搭建数仓DWD层] 搭建数仓DWD层-车辆进出事实表1 (16:18).mp4
- 18-3 [搭建数仓DWD层] 搭建数仓DWD层-车辆进出事实表2 (03:38).mp4
- 18-4 [搭建数仓DWD层] 搭建数仓DWD层-业主拉链表理论 (07:58).mp4
- 18-5 [搭建数仓DWD层] 搭建数仓DWD层-拉链表实现原理与步骤 (03:22).mp4
- 18-6 [搭建数仓DWD层] 搭建数仓DWD层-初始化拉链表 (06:03).mp4
- 18-7 [搭建数仓DWD层] 搭建数仓DWD层-制作临时拉链表 (16:08).mp4
- 18-8 [搭建数仓DWD层] 搭建数仓DWD层-生成业主拉链表 (06:23).mp4
- 18-9 [搭建数仓DWD层] 搭建数仓DWD层-门禁事实表 (13:29).mp4
- 18-10 [搭建数仓DWD层] 搭建数仓DWD层-车辆维度表 (05:58).mp4
- 18-11 [搭建数仓DWD层] 搭建数仓DWD层-时间维度表 (04:30).mp4
- 18-12 [搭建数仓DWD层] 搭建数仓DWD层-地区维度表 (10:58).mp4
- 19-1 [搭建数仓DWS层] 数仓DWS层概述 (03:00).mp4
- 19-2 [搭建数仓DWS层] 搭建数仓DWS层-每日用户出行行为 (19:37).mp4
- 19-3 [搭建数仓DWS层] 搭建数仓DWS层-每日车辆出行行为 (09:59).mp4
- 20-1 [搭建数仓ADS层] 数仓ADS层概述 (02:25).mp4
- 20-2 [搭建数仓ADS层] 搭建数仓ADS层-小区出行数据统计 (07:06).mp4
- 20-3 [搭建数仓ADS层] 搭建数仓ADS层-车辆出行数据统计 (04:38).mp4
- 21-1 [报表数据导入mysql] 小区出行报表数据导出mysql (07:12).mp4
- 21-2 [报表数据导入mysql] 车辆出行报表数据导出mysql (04:43).mp4
- 22-1 [Azkaban作业调度系统] Azkaban概述 (06:16).mp4
- 22-2 [Azkaban作业调度系统] Azkaban核心组件及部署模式 (04:04).mp4
- 22-3 [Azkaban作业调度系统] Azkaban下载与编译1 (04:17).mp4
- 22-4 [Azkaban作业调度系统] Azkaban下载与编译2 (05:36).mp4
- 22-5 [Azkaban作业调度系统] Azkaban下载与编译3 (17:20).mp4
- 22-6 [Azkaban作业调度系统] Azkaban下载与编译4 (05:03).mp4
- 22-7 [Azkaban作业调度系统] Azkaban下载与编译5 (08:11).mp4
- 22-8 [Azkaban作业调度系统] MySQL安装与配置准备 (06:14).mp4
- 22-9 [Azkaban作业调度系统] Azkaban建表准备 (03:14).mp4
- 22-10 [Azkaban作业调度系统] Azkaban web server配置 (12:25).mp4
- 22-11 [Azkaban作业调度系统] Azkaban 用户管理 (02:19).mp4
- 22-12 [Azkaban作业调度系统] Azkaban Executor server配置 (02:50).mp4
- 22-13 [Azkaban作业调度系统] Azkaban服务启动 (09:36).mp4
- 22-14 [Azkaban作业调度系统] Azkaban手动调度与自动调度 (16:18).mp4
- 23-1 [大数据作业调度] Azkaban服务启动 (03:20).mp4
- 23-2 [大数据作业调度] Azkaban Schedule详解 (15:51).mp4
- 23-3 [大数据作业调度] Azkaban邮件通知 (09:55).mp4
- 23-4 [大数据作业调度] Azkaban大数据作业调度1 (09:36).mp4
- 23-5 [大数据作业调度] Azkaban大数据作业调度2 (08:40).mp4
- 24-1 [智慧社区数仓大屏制作] Davinci架构 (03:21).mp4
- 24-2 [智慧社区数仓大屏制作] Davinci安装配置 (06:49).mp4
- 24-3 [智慧社区数仓大屏制作] Davinci初始化数据库 (09:25).mp4
- 24-4 [智慧社区数仓大屏制作] Davinci初始化配置 (07:40).mp4
- 24-5 [智慧社区数仓大屏制作] Davinci注册登录 (03:41).mp4
- 24-6 [智慧社区数仓大屏制作] Davinci创建项目并添加数据源 (03:50).mp4
- 24-7 [智慧社区数仓大屏制作] Davinci创建视图1 (05:38).mp4
- 24-8 [智慧社区数仓大屏制作] Davinci创建视图2 (15:16).mp4
- 24-9 [智慧社区数仓大屏制作] Davinci创建视图3 (04:49).mp4
- 24-10 [智慧社区数仓大屏制作] Davinci创建可视化组件1 (04:24).mp4
- 24-11 [智慧社区数仓大屏制作] Davinci创建可视化组件2 (07:44).mp4
- 24-12 [智慧社区数仓大屏制作] Davinci数仓大屏制作1 (09:39).mp4
- 24-13 [智慧社区数仓大屏制作] Davinci数仓大屏制作2 (10:34).mp4
- 24-14 [智慧社区数仓大屏制作] Davinci数仓大屏制作3 (06:48).mp4





