这门课解决什么工作场景

大数据全栈工程师的核心痛点在于“栈太广、落地难”。很多学习者卡在 Hadoop、Spark、Flink 等组件的孤立学习，遇到真实离线数仓或实时数据平台时，无法独立完成从数据采集、清洗、存储到可视化分析的全链路开发。本课程定位正是填补这一空白，覆盖企业级大数据开发的完整技术栈，包括 Hive 数仓建模、Spark 分布式计算、Flink 实时流处理以及常用数据集成工具。它适合希望从 Java 后端转型大数据，或从零搭建大数据工程师知识体系的学员，帮助其建立端到端的数据处理能力，而非只会写单个组件的代码。

适合什么基础，建议先看哪几块

本课程适合具备 Java 基础（熟悉集合、多线程、JVM 基本认知）的学员。若你是纯零基础转行，建议先补 1～2 周 JavaSE 基础，再进入大数据部分。学习顺序建议如下：首先攻克 Hadoop 核心，理解分布式存储与计算思想，掌握 HDFS 和 MapReduce 原理，这是所有大数据组件的地基；其次学习 Hive 数仓，掌握 SQL 化数据分析及分区、分桶、数据建模规范；接着重点突破 Spark 生态，特别是 Spark SQL 和 Spark Streaming，这是当前招聘的高频要求；然后了解 Flink 实时计算中的窗口、时间语义等流处理核心概念；最后通过项目实战，结合用户行为分析或日志实时看板案例，串联全栈能力。不建议跳着学，组件耦合度高，地基不稳会导致后续项目阶段频繁卡壳。

学完能独立做什么，资料怎么配合练习

学完本阶段内容后，学员应能独立承担以下工作：设计并实现离线数仓分层架构（ODS/DWD/DWS/ADS），进行数据建模与指标计算；使用 Spark 完成亿级数据的高效处理任务，优化 Job 性能；搭建 Flink 实时计算作业，处理 Kafka 数据源并保证 Exactly-Once 语义；编写数据质量校验与监控脚本，确保数据一致性；在 Linux 环境下部署和维护大数据集群基础组件。资料包包含高清视频、配套代码、实验环境配置说明及项目数据集。建议采用「看课→复现→改造」三步法：先跟视频敲一遍核心代码，熟悉环境搭建和命令使用；再修改参数观察输出变化，理解配置项的作用；最后尝试将案例中的数据源替换为本地 CSV 或模拟数据，验证自身对组件的理解深度。遇到报错时，优先查阅配套文档中的常见问题排查指南，而非直接复制答案，通过独立解决故障来提升工程能力。

课程目录

├── 001.hadoop-大数据启蒙-初识HDFS.mp4
 ├── 002.hadoop-HDFS理论基础读写流程.mp4
 ├── 003.hadoop-HDFS集群搭建-伪分布式模式 1.mp4
 ├── 003.hadoop-HDFS集群搭建-伪分布式模式 2.mp4
 ├── 004.hadoop-HDFS集群搭建-HA模式概念 1.mp4
 ├── 004.hadoop-HDFS集群搭建-HA模式概念 2.mp4
 ├── 005.hadoop-HDFS集群搭建-HA模式验证.mp4
 ├── 006.hadoop-HDFS权限、企业级搭建、idea+maven开发HDFS 1.mp4
 ├── 006.hadoop-HDFS权限、企业级搭建、idea+maven开发HDFS 2.mp4
 ├── 007.hadoop-MapReduce原理精讲、轻松入门.mp4
 ├── 008.hadoop-Mapkeducen度原理，Varn原埋 1.mp4
 ├── 008.hadoop-Mapkeducen度原理，Varn原埋 2.mp4
 ├── 009.hadoop-MapReduce-Yar集群搭建、idea开发MR的wC程序 1.mp4
 ├── 009.hadoop-MapReduce-Yar集群搭建、idea开发MR的wC程序 2.mp4
 ├── 010.hadoop-MapReduce作业提交方式、源码-客户端提交源码 1.mp4
 ├── 010.hadoop-MapReduce作业提交方式、源码-客户端提交源码 2.mp4
 ├── 011.hadoop-MapReduce源码-MapTask-input源码精讲.mp4
 ├── 012.adoop-MapReduce源码-MapTask-output和ReduceTask精讲 1.mp4
 ├── 012.adoop-MapReduce源码-MapTask-output和ReduceTask精讲 2.mp4
 ├── 013.hadoop-MapReduce开发-分组取TopN-AP精炼 1.mp4
 ├── 013.hadoop-MapReduce开发-分组取TopN-AP精炼 2.mp4
 ├── 014.hadoop-MapReduce开发推荐系统大数据思维模式.mp4
 ├── 0

15 Hive的架构介绍及远程数据库模式安装 1.mp4
 ├── 0

15 Hive的架构介绍及远程数据库模式安装 2.mp4
 ├── 0

16 Hive的远程元数据服务模式安装及Hive SOL 1.mp4
 ├── 0

16 Hive的远程元数据服务模式安装及Hive SOL 2.mp4
 ├── 017.Hive erde，HiveServer2，Hive函数 1.mp4
 ├── 017.Hive erde，HiveServer2，Hive函数 2.mp4
 ├── 018.Hive参数设置、运行方式、动态分区、分桶 1.mp4
 ├── 018.Hive参数设置、运行方式、动态分区、分桶 2.mp4
 ├── 019.Hive视图、索引、权限管理 1.mp4
 ├── 019.Hive视图、索引、权限管理 2.mp4
 ├── 020.Hivet化、文件类型、HiveServer2高可用 1.mp4
 ├── 020.Hivet化、文件类型、HiveServer2高可用 2.mp4
 ├── 021.HBase架构介绍、数据模型 1.mp4
 ├── 021.HBase架构介绍、数据模型 2.mp4
 ├── 022.HBase伪分布式及完全分布式安装、HBase基本命令 1.mp4
 ├── 022.HBase伪分布式及完全分布式安装、HBase基本命令 2.mp4
 ├── 023.HBase Java API、Protocol Buffer简单介绍 1.mp4
 ├── 023.HBase Java API、Protocol Buffer简单介绍 2.mp4
 ├── 024.HBase与MapReduce整合、Hbase表设计 1.mp4
 ├── 024.HBase与MapReduce整合、Hbase表设计 2.mp4
 ├── 025.Hbase优化及LSM树 1.mp4
 ├── 025.Hbase优化及LSM树 2.mp4
 ├── 026.Hadoop项目-需求介绍及数据源产生流程需求介绍及数据流图 1.mp4
 ├── 026.Hadoop项目-需求介绍及数据源产生流程需求介绍及数据流图 2.mp4
 ├── 027.Hadoop项目-java端和js端数据产生代码讲解及flume简单介绍 1.mp4
 ├── 027.Hadoop项目-java端和js端数据产生代码讲解及flume简单介绍 2.mp4
 ├── 028.Hadoop项目-Flume讲解及数据清洗模块准备工作 1.mp4
 ├── 028.Hadoop项目-Flume讲解及数据清洗模块准备工作 2.mp4
 ├── 029.Hadoop项目-数据清洗代码分析、hive与hbase整合、指标分析思路 1.mp4
 ├── 029.Hadoop项目-数据清洗代码分析、hive与hbase整合、指标分析思路 2.mp4
 ├── 030.Hadoop项目-手敲用户新增指标模块代码 1.mp4
 ├── 030.Hadoop项目-手敲用户新增指标模块代码 2.mp4
 ├── 031.Hadoop项目-MR输出数据到mysql的输出格式化类、sqo0p的简单介绍 1.mp4
 ├── 031.Hadoop项目-MR输出数据到mysql的输出格式化类、sqo0p的简单介绍 2.mp4
 ├── 032.Hadoop项目-Hive SQL分析用户浏览深度代码讲解及脚本编写 1.mp4
 ├── 032.Hadoop项目-Hive SQL分析用户浏览深度代码讲解及脚本编写 2.mp4
 ├── 033.redis介绍及NIO原理介绍 1.mp4
 ├── 033.redis介绍及NIO原理介绍 2.mp4
 ├── 034.redis的string类型&amp；bitmap 1.mp4
 ├── 034.redis的string类型&amp；bitmap 2.mp4
 ├── 035.redis的list，set，hash，sorted set、skiplist 2.mp4
 ├── 035.redis的list，set，hash，sorted set、skiplist 1.mp4
 ├── 036.redis消息订阅、pipeline、事务、modules、布隆过滤器、缓存LRU 1.mp4
 ├── 036.redis消息订阅、pipeline、事务、modules、布隆过滤器、缓存LRU 2.mp4
 ├── 037.redis的持久化RDB、fork、copyonwrite、AOF、RDB&amp；AOF混合使用 1.mp4
 ├── 037.redis的持久化RDB、fork、copyonwrite、AOF、RDB&amp；AOF混合使用 2.mp4
 ├── 038.redis的集群：主从复制、CAP、PAXOS、cluster分片集群01.mp4
 ├── 039.redis的集群：主从复制、CAP、PAXOS、cluster分片集群02.mp4
 ├── 040.redis开发：spring.data.redis、连接、序列化、high-low api.mp4
 ├── 041.zookeeper介绍、安装、shellcli使用，基本概念验证.mp4
 ├── 042.zookeeper原理知识，paxos、zab、角色功能、API开发基础.mp4
 ├── 043.zookeeper案例：分布式配置注册发现、分布式锁、ractive模式编程.mp4
 ├── 044.scala语言、函数式编程、数据集处理、iterator设计模式实现.mp4
 ├── 045.scala语言、流程控制、高级函数.mp4
 ├── 046.scala语言、集合容器、iterator设计模式源码分析.mp4
 ├── 047.scala语言、match，case class、implicitt、spark wordcount.mp4
 ├── 048.spark-core、复习hadoop生态、梳理术语、hadoopRDD源码分析.mp4
 ├── 049.spark-core、wordcount案例源码分析、图解.mp4
 ├── 050.spark-core、集合操作API、pvuv分析、RDD源码分析.mp4
 ├── 051.spark-core、聚合计算API、combineByKey、分区调优.mp4
 ├── 052.spark-core、二次排序、分组取TOpN、算子综合应用.mp4
 ├── 053.spark-core、集群框架图解、角色功能介绍、官网学习、搭建.mp4
 ├── 054.spark-core、history服务、standaloneHA、资源调度参数.mp4
 ├── 055.spark-core、基于yarn的集群搭建、配置、资源调度参数、优化jars.mp4
 ├── 056.spark-core-源码、RpcEnv、standaloneMaster启动分析.mp4
 ├── 057.spark-core-源码、Worker启动、sparksubmit提交、Driver启动.mp4
 ├── 058.spark-core-源码、Application注册、Executor资源申请.mp4
 ├── 059.spark-core-源码、sparkContext、DAGScheduler、stage划分.mp4
 ├── 060.spark-core-源码、Taskscheduler、Executor运行Task、SparkEnv.mp4
 ├── 061.spark-core-源码、MemoryManager、BlockManager.mp4
 ├── 062.spark-core-源码、Dependency、SortShuffleManager.mp4
 ├── 063.spark-core-源码、SortShuffleWriter、内存缓冲区buffer.mp4
 ├── 064.spark-core-源码、SortShuffleWriter、内存缓冲区buffer.mp4
 ├── 065.spark-core-源码、UnsafeShufleWriter、Tungsten、Unsafe、堆外.mp4
 ├── 066.spark-core-源码、ShuffleReader、Tracker、Scheduler完整调度.mp4
 ├── 067.spark-core-源码、RDD持久化、检查点、广播变量、累加器.mp4
 ├── 068.spark-core-源码、RDD持久化、检查点、广播变量、累加器.mp4
 ├── 069.spark-sql、大数据中的SQL组成原理.mp4
 ├── 070.spark-sql、datafram到dataset开发.mp4
 ├── 071.spark-sql、整合hive的metastore搭建企业级数合1.mp4
 ├── 072.spark-sql、整合hive的metastore搭建企业级数仓2.mp4
 ├── 073.spark-sql、复杂sql、函数、自定义函数、开窗over函数、OLAP.mp4
 ├── 074.spark-sql-源码、sql解析、dataset到rdd的执行计划.mp4
 ├── 075.spark-sql-源码、antlr4的sql解析、AST语法树的逻辑到物理转换.mp4
 ├── 076.spark-sql-源码、逻辑计划、优化器、物理计划、转换RDD.mp4
 ├── 077.spark-streaming、流式计算之微批计算原理及standalone.mp4
 ├── 078.spark-streaming、api、ha、检查点、窗口等机制.mp4
 ├── 079.spark-streaming、整合MQ-kafka开发.mp4
 ├── 080.spark-streaming、源码分析、流式微批任务的调度原理.mp4
 ├── 081.spark-streaming.mp4
 ├── 082.机器学习介绍、原理及应用场景.mp4
 ├── 083.线性回归算法的原理及参数优化方案.mp4
 ├── 084.基于Spark MLlib训练回归算法模型.mp4
 ├── 085.逻辑回归算法的原理及算法公式推导.mp4
 ├── 086.KNN识别手写数字与KMeans聚类算法原理.mp4
 ├── 087.KNN手写数字识别及KMeans算法原理.mp4
 ├── 088.手写KMeans聚类算法及实现精准微博营销案例.mp4
 ├── 089.分析KMeans精准营销案例代码及KMeans在推荐系统的应用.mp4
 ├── 090.逻辑回归算法原理及公式推导.mp4
 ├── 091.逻辑回归算法原理及公式推导.mp4
 ├── 092.逻辑回归算法及实现百度路况预测功能.mp4
 ├── 093.百度地图实时路况及路况预测.mp4
 ├── 094.决策树算法的原理.mp4
 ├── 095.随机森林算法与算法总结.mp4
 ├── 096.推荐系统的来龙去脉与推荐架构.mp4
 ├── 097.推荐系统架构设计及构建推荐系统训练集.mp4
 ├── 098.推荐系统代码实现及测试.mp4
 ├── 099.实现推荐系统在线推荐微服务.mp4
 ├── 100.基于节目的推荐系统，架构剖析，数据迁移.mp4
 ├── 101.提取节目的关键词，构建节目画像.mp4
 ├── 102.基于TextRank算法+TF-IDF算法提取关键词.mp4
 ├── 103.构建节目画像与用户画像.mp4
 ├── 104.构建用户画像及性能调优.mp4
 ├── 105.基于节目画像计算节目的相似度.mp4
 ├── 106.Spark调优总结及word2vec算法原理.mp4
 ├── 107.基于物品画像计算相似度.mp4
 ├── 108.实现基于模型的召回策略.mp4
 ├── 109.构建特征中心及模型召回实现.mp4
 ├── 111.训练排序模型及搭建推荐系统微服务.mp4
 ├── 112.推荐系统项目一大总结.mp4
 ├── 113.Flink初始及搭建集群环境.mp4
 ├── 114.Flink基于Yarn多种启动方式.mp4
 ├── 115.Flink运行架构及并行度设置.mp4
 ├── 116.Flink各种算子精讲1.mp4
 ├── 117.Flink各种算子精讲2.mp4
 ├── 118.Flink各种算子精讲3 1.mp4
 ├── 118.Flink各种算子精讲3 2.mp4
 ├── 119.基本函数类及富函数的使用.mp4
 ├── 123.Flink Checkpoint及SavePoint精讲.mp4
 ├── 124.Flink Window窗口剖析1.mp4
 ├── 125.上机实战演练：ES查询语法.mp4
 ├── 126.Flink Window剖析2.mp4
 ├── 127.Mapping和聚合查询.mp4
 ├── 128.Flink时间语义+Watermark.mp4
 ├── 129.Flink Window剖析3.mp4
 ├── 130.ES查询之底层原理揭秘.mp4
 ├── 1

31 ES查询之Scripting查询/ ├── 1

32 Flink Table API 编程/ ├── 1

33 ES查询之分词器详解/ ├── 1

34 Flink SQL编程/ ├── 1

35 Flink 复杂事件处理CEP/ ├── 136 ES查询之前缀搜索、通配符搜索、正则搜索、模糊查询串讲/ ├── 1

37 CEP编程和Flink优化/ ├── 138 交通实时监控项目1/ ├── 1

39 ES Java API/ ├── 140 交通实时监控项目2/ ├── 1

41 ES/ ├── 1

42 本节无内容，后续讲解/ ├── 143 交通实时监控项目3/ ├── 144 交通实时监控项目4/ ├── 1

45 ELK Stack-ES集群/ ├── 1

46 ELK Stack-ES集群/ ├── 147 交通实时监控项目5/ ├── 148 ELK-Beats&Logstash介绍/ ├── 1

49 ELK-Lostash架构实战/ ├── 150 交通实时监控项目6/ ├── 151 ELK-收集Nginx日志，syslog，kibana讲解/ ├── 152 交通实时监控项目7/ ├── 1

53 ELK-使用Packetbeat监控es集群/ ├── 1

54 ES进阶-relevance score原理及排序算法优化/ ├── 1

55 ES进阶-Nested、Join及Term vector详解/ ├── 156 ES进阶-Highlight及Suggest搜索推荐详解/ ├── 1

57 ES进阶-深入探秘基于地理位置搜索/ ├── 1

58 ES进阶-案例分析：基于地理位置搜索的疫情地图/ ├── 159 ES进阶-深入聚合分析-多metric以及histogram剖析/ ├── 1

60 ES进阶-深入聚合搜索-完结/ ├── 1

61 ES进阶-运维篇之集群管理/ ├── 162 ES进阶-运维篇之集群管理2以及hdfs安装/ ├── 1

63 ES进阶-基于snapshot hdfs restore数据备份还原/ ├── 164 ES进阶-索引管理-1/ ├── 165 ES进阶-索引管理-2/ ├── 1

66 ES进阶-集群安全/ ├── 1

67 项目实战-搜索引擎框架原理/ ├── 1

68 项目实战-搜索推荐项目案例/ ├── 1

69 数据仓库之数据库范式与ER实体关系模型建模/ ├── 1

70 数据仓库之维度建模与数据仓库分析模型/ ├── 1

71 数据仓库之数据仓库分层设计与命名规范/ ├── 1

72 音乐数仓平台之项目架构及数仓分层、主题设计/ … 其余 

79 项略，目录共 279 项