**老汤大数据项目实战之大数据平台建设：从理论到落地的全景指引**

在数字化转型的浪潮中，大数据平台的建设已成为企业构建核心竞争力的关键举措。然而，面对纷繁复杂的技术栈和架构选型，初学者乃至从业者往往陷入“知道概念，不知如何落地”的困境。《老汤大数据项目实战之大数据平台建设》这一体系课，正是为了解决这一痛点而生。它并非单纯的工具罗列，而是一套基于真实项目场景、强调工程化思维的完整解决方案。

课程开篇即确立了严谨的学习基调。通过“老汤大数据课程体系介绍”及“真实项目软件版本信息”等前置内容，学员将迅速建立起对Hadoop生态版本演进及当前主流技术选型的清晰认知。这一步至关重要，因为大数据组件版本差异巨大，错误的版本组合往往是导致集群部署失败的首要原因。课程强调“必须学习”，意在提醒学员摒弃对过时技术的依赖，以业界标准的真实生产环境为基准开启学习之旅。

在理论层面，课程深入剖析了数据仓库的本质。通过对OLTP（事务处理）与OLAP（分析处理）特点的深度对比，学员能够清晰界定两类系统的边界与应用场景。针对传统数据仓库面临的扩展性瓶颈与成本高昂等问题，课程进一步阐述了为何使用Hadoop构建大数据平台是应对这些挑战的最佳实践。这不仅涵盖了底层架构原理，更揭示了“大数据平台结构”背后的设计哲学，帮助学员从宏观视角理解数据流动的全貌。

实操部分是本课程的核心亮点，尤其体现在Batch ETL（批量抽取、转换、加载）环节。课程并未直接跳跃至复杂的代码编写，而是回归数据库设计的根本——关系型数据库三范式。通过“电影评分系统”这一经典案例，学员将亲手实践从概念模型到物理表的OLTP Schema设计。这种由浅入深的教学设计，确保了学员能够掌握数据源设计的规范与逻辑，为后续的ETL过程打下坚实基础。

此外，课程注重数据准备的完整性。从Schema设计延伸至数据准备环节，意味着学员将学习到如何处理脏数据、如何设计数据加载脚本，以及如何在生产环境中保证数据的一致性与可用性。这些细节往往是区分“玩具项目”与“工业级项目”的关键所在。

总而言之，本课程以真实项目为载体，贯穿了从需求分析、架构选型到数据建模、ETL实施的全生命周期。它不仅传授技术点，更培养学员的工程化思维。对于希望深入大数据领域、构建系统化知识体系的学习者而言，这是一门值得深入研读的实战指南。通过本课程，学员不仅能掌握Hadoop生态的核心技术，更能理解数据平台背后的业务逻辑与设计思想，为未来的职业发展筑牢根基。

课程目录

1-1 [课程答疑 QQ 群：574185645] 老汤大数据课程体系介绍 (06:21)
2-1 [真实项目软件版本信息] 真实项目软件版本信息(必须学习) (22:46)
3-1 [数据仓库概述] OLTP与OLAP的特点 (07:10)
3-2 [数据仓库概述] 传统数据仓库及其面临的问题 (16:01)
3-3 [数据仓库概述] Using Hadoop for Data Warehous (11:54)
3-4 [数据仓库概述] 大数据平台结构 (12:55)
4-1 [Batch ETL] 关系型数据库三范式(Normal Form)设计 (16:53)
4-2 [Batch ETL] OLTP Schema设计-电影评分系统部分表设计 (11:08)
4-3 [Batch ETL] OLTP Schema设计-数据准备 (13:02)
4-4 [Batch ETL] 定义分析场景以及选择存储引擎 (07:16)
4-5 [Batch ETL] OLAP Schema设计-星型设计 (21:41)
4-6 [Batch ETL] Tracking updates in hadoop (10:00)
4-7 [Batch ETL] 文件格式、压缩算法以及分区的选择 (05:24)
4-8 [Batch ETL] sqoop1的安装以及原理 (15:02)
4-9 [Batch ETL] Sqoop-Example (37:00)
4-10 [Batch ETL] Sqoop-Password (08:32)
4-11 [Batch ETL] Movie-ETL (23:44)
4-12 [Batch ETL] user_rating-ETL (31:23)
4-13 [Batch ETL] user-ETL (23:39)
4-14 [Batch ETL] movie-analysis (07:38)
4-15 [Batch ETL] Batch ETL数据仓库真实数据量 (05:42)
4-16 [Batch ETL] Sqoop-export (06:27)
4-17 [Batch ETL] Spark SQL可以替代Sqoop (12:01)
4-18 [Batch ETL] Sqoop2简介 (02:51)
5-1 [Streaming ETL] 系统日志 (06:12)
5-2 [Streaming ETL] 交易系统的日志 (26:40)
5-3 [Streaming ETL] 业务日志一 (13:16)
5-4 [Streaming ETL] 业务日志二 (24:45)
5-5 [Streaming ETL] Flume-Exec-HDFS (31:42)
5-6 [Streaming ETL] Flume-SpoolDir-HDFS (20:21)
5-7 [Streaming ETL] Flume-TAILDIR-HDFS (29:21)
5-8 [Streaming ETL] Flume Source之间以及Channel之间的对比 (18:35)
5-9 [Streaming ETL] Flume Headers (15:03)
5-10 [Streaming ETL] Flume-Interceptors (10:11)
5-11 [Streaming ETL] 复杂Streaming ETL (18:13)
5-12 [Streaming ETL] 复杂Streaming ETL部署 (20:17)
5-13 [Streaming ETL] 小文件合并 (13:39)
5-14 [Streaming ETL] Kafka所承担的角色 (03:48)
5-15 [Streaming ETL] Kafka收集数据 (15:26)
5-16 [Streaming ETL] 实时抓取传统数据库(Mysql)的更新数据到HDFS (07:36)
5-17 [Streaming ETL] 总结 (04:52)
6-1 [CDH & Cloudera Manager] CDH (21:18)
6-2 [CDH & Cloudera Manager] Cloudera Manager (15:17)
6-3 [CDH & Cloudera Manager] 集群角色分配以及资源计算 (19:17)
6-4 [CDH & Cloudera Manager] 生产资源配置建议 (07:23)
6-5 [CDH & Cloudera Manager] CM和CDH的版本选择 (03:29)
6-6 [CDH & Cloudera Manager] CDH的安装 (13:40)
6-7 [CDH & Cloudera Manager] CDH平台讲解 (20:05)
6-8 [CDH & Cloudera Manager] CDH各个服务的配置 (08:34)
6-9 [CDH & Cloudera Manager] CDH日志的查看 (10:18)
6-10 [CDH & Cloudera Manager] CDH查看各个服务的WEB UI (05:47)
6-11 [CDH & Cloudera Manager] Spark和Yarn的History Server的讲解 (13:17)
6-12 [CDH & Cloudera Manager] 如何关闭CDH和Cloudera Manager (04:20)