这门课解决什么问题，适合谁学

大数据开发岗位中，离线批处理与实时流处理往往是两个独立的技能板块。很多初学者学完 Hadoop 或 Spark 单机组件后，依然不知道如何在一个项目中将它们串联起来解决真实业务问题。本课程聚焦于「离线与实时项目实战」，核心目标是补齐这一环节。它不教抽象概念，而是带你完整经历一个大数据平台的搭建与数据流转过程。

课程前置知识要求中等。你需要已经了解 Linux 基础操作、Java 编程以及 Hadoop HDFS/YARN 的基本原理。如果你还在摸索 HBase 和 Redis 是什么、什么时候该用哪种存储，这门课会把它们放在实际架构里讲清楚。适合正在准备大数据离线开发面试，或者希望从单一组件开发转向全链路数据处理能力的工程师。

资料如何配合练习，建议先看哪几块

资料包结构清晰，分为环境准备、存储中间件、核心计算引擎和实战项目四部分。建议的学习路径如下：

  • 第一步：环境铺垫（第2、3章）。先学习 Redis 和 HBase 的基础。这部分视频虽然独立，但它们是后续数据接入层的核心。重点掌握 Redis 的 String/List/Set 数据结构在缓存场景的应用，以及 HBase 的列式存储模型与 Shell 操作。不要跳过环境部署章节，HBase 依赖 Hadoop 和 ZooKeeper，部署过程中的报错排查本身就是重要的调试能力训练。
  • 第二步：核心引擎（第4-6章）。这是课程的重头戏。依次攻克 Flume 数据采集、Hive 数仓建模和 Spark 计算框架。注意区分 Spark SQL（侧重离线分析）与 Spark Streaming（侧重实时流处理）的应用边界。资料中包含的 IDEA 工程模板，务必跟着代码敲一遍，理解 RDD、DataFrame 和 Dataset 的转换逻辑。
  • 第三步：项目整合（第7章及以后）。进入大型项目实战阶段。此时需要将前面的组件串联：用 Flume 采集日志，经 Kafka 缓冲后，由 Spark Streaming 实时处理，结果写入 HBase 供查询，同时离线数据通过 Hive 进行 T+1 分析。这个阶段重点不是看视频，而是调试整个数据链路，确保数据从产生到入库无误。

练习时，建议以「离线为底，实时为用」的思路来复盘。离线部分侧重数据清洗和数仓分层设计，实时部分侧重低延迟计算和状态管理。遇到 Kryo 序列化报错或内存溢出是常态，利用课程提供的排错指南逐步解决，这些经验比单纯的代码运行更重要。

学完能独立做什么

完成本课程后，你应该能够独立搭建一套基于 Lambda 或 Kappa 架构的大数据处理平台。具体而言：

  • 能够设计并部署 Hadoop + HBase + Redis 的混合存储架构，根据业务场景选择合适的存储介质。
  • 熟练运用 Spark 进行大规模数据离线清洗与 ETL 开发，掌握 Spark SQL 优化技巧。
  • 具备实时数据流处理能力，能够使用 Spark Streaming 对接 Kafka 实现毫秒级数据监控或计数分析。
  • 能够解决开发过程中常见的环境问题（如集群节点失联、端口冲突）和运行时异常（如数据倾斜、内存溢出）。

这门课的价值在于将分散的技术栈整合为可落地的工程能力。对于想在求职中展示完整项目经验的读者，建议重点打磨项目实战章节的代码，将其作为你简历中的核心案例进行深度拆解和讲解。

课程目录

第1章 课程介绍&学习指南 试看 2 节 | 12分钟 1-1 课程介绍 (11:26).mp4
 1-2 ***学前必读***（助你平稳踩坑，畅学无忧，课程学习与解决问题指南）.mp4
 第2章 Redis入门 

12 节 | 126分钟 2-1 课程目录 (02:44).mp4
 2-2 Redis概述 (10:06).mp4
 2-3 Redis特性 (10:14).mp4
 2-4 Redis应用场景 (06:50).mp4
 2-5 Redis部署&服务启停&客户端连接 (17:09).mp4
 2-6 Redis多数据库特性 (07:04).mp4
 2-7 Redis基础命令的使用 (09:35).mp4
 2-8 Redis数据类型之string (15:14).mp4
 2-9 Redis数据类型之list (17:39).mp4
 2-

10 Redis基本数据类型之set (13:53).mp4
 2-

11 使用Jedis对Redis进行操作 (09:55).mp4
 2-

12 Redis工具类开发 (04:54).mp4
 第3章 HBase入门 

20 节 | 142分钟 3-1 数据存储现状 (07:26).mp4
 3-2 HBase是什么 (05:58).mp4
 3-3 HBase在生态圈中的位置以及列式存储带来的好处 (07:49).mp4
 3-4 HBase的特点.mp4
 (05:23) 3-5 HBase vs RDBMS vs HDFS.mp4
 (05:15) 3-6 HBase的优势 (02:58).mp4
 3-7 HBase数据模型 (09:47).mp4
 3-8 JDK环境搭建 (04:19).mp4
 3-9 Hadoop环境部署(详解一个常见的错误解决方案) (14:41).mp4
 3-

10 ZooKeeper环境部署 (03:32).mp4
 3-

11 HBase环境部署 (09:01).mp4
 3-

12 HBase shell DDL操作 (06:28).mp4
 3-

13 HBase shell DML操作 (09:48).mp4
 3-

14 HBase API编程之开发前置准备工作 (10:31).mp4
 3-

15 HBase API编程之创建表以及查询表和所有列族 (07:32).mp4
 3-

16 HBase API编程之添加和修改记录 (07:41).mp4
 3-

17 HBase API编程之通过RowKey获取值 (05:47).mp4
 3-

18 HBase API编程之Scan (08:39).mp4
 3-

19 HBase API编程之Filter (06:09).mp4
 3-

20 HBase API编程之总结 (02:27).mp4
 第4章 离线项目实战V1 

22 节 | 182分钟 4-1 课程目录 (03:03).mp4
 4-2 项目背景 (09:31).mp4
 4-3 项目处理流程.mp4
 (11:03) 4-4 项目离线和实时架构图 (12:01).mp4
 4-5 明确架构图中每个步骤使用的技术以及职责所在 (06:32).mp4
 4-6 项目指标需求 (03:57).mp4
 4-7 功能开发之UserAgent解析(掌握如何获取技能) (16:46).mp4
 4-8 功能开发之IP解析思路 (02:12).mp4
 4-9 功能开发之Spark和HBase依赖整合 (03:39).mp4
 4-

10 开发环境依赖使用说明 (09:16).mp4
 4-11 功能开发之解析日志成DataFrame并为DataFrame添加字段信息 (08:32).mp4
 4-

12 功能开发之将DF内容转成HBase要存储的列 (15:03).mp4
 4-

13 功能开发之整体ETL流程详解及如何传参设计 (10:20).mp4
 4-

14 功能开发之创建HBase表 (13:54).mp4
 4-

15 功能开发之HBase Rowkey设计_1 (10:07).mp4
 4-

16 功能开发之完成ETL数据到HBase落地的全过程 (09:10).mp4
 4-

17 功能开发之完成第一个指标的统计分析 (19:10).mp4
 4-

18 功能开发之完成第二个指标的统计分析 (03:33).mp4
 4-

19 性能优化之缓存的使用 (04:13).mp4
 4-

20 功能开发之统计功能使用DataFrame API以及SQL API来完成 (06:33).mp4
 4-

21 本章小结 (02:29).mp4
 4-

22 【讨论题】关于Spark RDD核心算子的思考.mp4
 第5章 离线项目实战优化 

11 节 | 109分钟 5-1 课程目录 (02:15).mp4
 5-2 Spark on YARN (12:02).mp4
 5-3 Linux时间获取 (04:13).mp4
 5-4 shell封装Spark作业提交脚本 (23:27).mp4
 5-5 将统计结果写入到MySQL中 (15:19).mp4
 5-6 统计结果写入到MySQL调优 (04:06).mp4
 5-7 Spark ETL到HBase优化之禁用WAL (18:29).mp4
 5-8 Spark ETL到HBase的HFile思路 (03:49).mp4
 5-9 Spark产生HFile文件格式准备工作 (10:55).mp4
 5-

10 Spark产生HFile整个流程实现并总结 (14:06).mp4
 5-

11 【讨论题】Spark OOM问题.mp4
 第6章 实时项目实战 

15 节 | 103分钟 6-1 课程目录 (01:58).mp4
 6-2 项目背景 (02:31).mp4
 6-3 项目架构及处理流程 (05:01).mp4
 6-4 项目需求 (02:43).mp4
 6-5 开发环境准备及参数配置统一管理 (11:46).mp4
 6-6 Kafka部署及测试 (05:45).mp4
 6-7 Mock数据 (08:34).mp4
 6-8 发送数据到Kafka (12:56).mp4
 6-9 SparkStreaming对接Kafka数据 (06:18).mp4
 6-10 功能实现之每天的粒度统计..1 (15:54).mp4
 6-

11 功能开发之调优 (04:36).mp4
 6-

12 功能实现小结 (03:37).mp4
 6-

13 功能实现之每小时统计及代码重构 (12:54).mp4
 6-

14 SparkStreaming对接Kafka offset管理 (07:57).mp4
 6-15 【讨论题】SparkStreaming对接Kafka数据在项.mp4
 第7章 初识Alluxio 

13 节 | 108分钟 7-1 课程目录 (02:05).mp4
 7-2 概述 (08:41).mp4
 7-3 Spark应用存在的问题分析 (08:39).mp4
 7-4 Alluxio能为我们带来什么 (08:05).mp4
 7-5 Alluxio特点 (05:46).mp4
 7-6 在Spark实战项目中引入Alluxio (07:28).mp4
 7-7 Alluxio部署 (11:29).mp4
 7-8 Alluxio文件系统命令行操作 (09:24).mp4
 7-9 Alluxio整合HDFS使用 (08:15).mp4
 7-

10 Alluxio整合MapReduce使用 (08:07).mp4
 7-

11 Alluxio整合Spark使用 (06:29).mp4
 7-

12 Alluxio案例分享之在百度的使用 (11:36).mp4
 7-

13 Alluxio案例分享之在去哪儿的应用 (11:52).mp4
 第8章 Spark优化 

11 节 | 76分钟 8-1 课程目录 (04:26).mp4
 8-2 调优之资源设置 (17:27).mp4
 8-3 调优之算子的合理选择 (09:47).mp4
 8-4 扩展之自定义排序一 (08:01).mp4
 8-5 扩展之自定义排序二(附带经典面试题) (07:14).mp4
 8-6 扩展之自定义排序(隐式转换) (04:27).mp4
 8-7 Spark Streaming调优之Kafka限速 (07:30).mp4
 8-8 Spark Streaming对接Kafka能真正做到仅消费一次吗 (03:29).mp4
 8-9 调优之序列化 (05:05).mp4
 8-

10 调优之广播变量 (07:36).mp4
 8-11 【讨论题】数据倾斜的思考.mp4
 第9章 （讨论群内直播内容分享）基于Spark定制ETL框架 6 节 | 46分钟 9-1 Data Pipeline_x264 (06:19).mp4
 9-2 ETL中可能会遇到的问题_x264 (05:38).mp4
 9-3 (打标记处，3处听不清楚) Spark SQL DataSource API_x264 (06:40).mp4
 9-4 使用Spark SQL处理json数据_x264 (10:26).mp4
 9-5 基于Spark ETL框架的设计 (09:19).mp4
 9-6 基于Spark ETL框架的使用_x264 (06:45).mp4
 第10章 （讨论群内直播内容分享）Spark3新特性 6 节 | 47分钟 10-1 Spark概述 (15:30).mp4
 10-2 Spark3.x新特性 (05:13).mp4
 10-3 DataSource API V2 (09:51).mp4
 10-4 动态分区裁剪 (06:34).mp4
 10-5 自适应查询执行 (08:57).mp4
 10-6 【讨论题】简历项目问题.mp4
 第11章 【2022持续升级】自定义HBase外部数据源 

13 节 | 69分钟 11-1 课程目录 (01:39).mp4
 11-2 课程使用框架版本更新 (04:30).mp4
 11-3 通过Spark对接MySQL数据引出外部数据源的核心位置 (08:46).mp4
 11-4 外部数据源核心类剖析 (06:51).mp4
 11-5 JDBC外部数据源源码详解 (09:35).mp4
 11-6 Spark对接HBase数据源开发之主体轮廓 (08:32).mp4
 11-7 HBase数据准备及对接方案 (03:35).mp4
 11-8 Spark对接HBase数据源开发之参数解析 (06:40).mp4
 11-9 Spark对接HBase数据源开发之schema方法 (03:01).mp4
 11-10 Spark对接HBase数据源开发之buildScan方法 (06:11).mp4
 11-11 Spark对接HBase数据源开发之使用SQL方式 (01:21).mp4
 11-

12 Spark对接HBase数据源开发之扩展 (04:58).mp4
 11-

13 Spark对接HBase数据源开发之总结 (02:59).mp4