课程定位与核心价值
“大数据工程师”这一岗位在招聘市场上存在明显的两极分化：初级岗位往往只要求会写 SQL，而中高级岗位则要求具备全链路的数据处理与架构落地能力。这套课程的核心价值，在于填补了从“工具使用者”到“工程开发者”之间的能力鸿沟。它并非简单的功能罗列，而是严格对标企业实际生产环境，构建了涵盖大数据基础、离线采集计算、实时采集计算、全文检索引擎以及数据中台五大板块的完整知识体系。对于零基础学员，它提供了一条清晰的上手路径；对于希望转型的职场人，它解决的是“学了单个技术点，却不知如何组合成解决方案”的痛点。
学习门槛与内容优先级
本课程面向具备基本计算机操作能力、想系统入行的0基础同学。虽然门槛不高，但内容密度较大，因此学习顺序至关重要。建议严格遵循由浅入深的逻辑：首先必须扎实掌握“大数据基础”，包括 Linux 常用命令、Hadoop 生态及 HDFS 原理，这是后续所有技术的基石，切勿急于跳过；其次重点攻克“离线数据采集计算”，熟悉 Hive 数据仓库建模与 Spark 批处理逻辑，这是日常工作中占比最高的部分；在此基础上，再进入难度较高的“实时数据采集计算”与“全文检索引擎”模块；最后通过“数据中台”概念将所有技术串联。资料中的企业级项目案例不应作为速成代码看，而应作为检验前五块知识是否融会贯通的测试场，务必亲手搭建环境并完成全流程跑通。
学完后的独立工作能力
达到中级工程师标准后，你将具备独立承担中型企业数据平台建设的能力。具体表现为：能够设计离线数仓的分层架构并实施 ETL 开发；能够使用 Spark 进行大规模数据的清洗、转换与分析；能够部署 Kafka 等消息队列实现实时数据的采集与监控；能够利用 Elasticsearch 构建支持高并发查询的搜索服务。更重要的是，经过实战项目的打磨，你将学会如何根据具体的业务场景选择合适的技术组件，以及如何排查数据倾斜、性能优化等常见工程问题。这种从单一技能到系统思维的转变，才是这套资料真正能帮助你在求职和工作中脱颖而出的关键所在。
课程目录
├── 阶段一：走进大数据/ │ ├── Hadoop之HDFS核心进程剖析/ │ │ ├── 第1章初识NameNode/ │ │ ├── 第2章NameNode进阶/ │ │ ├── 第3章HDFS高级/ │ │ └── 第4章【扩展内容】HDFS写数据源码剖析/ │ ├── Hadoop之HDFS的使用/ │ │ ├── 第1章HDFS介绍/ │ │ ├── 第2章HDFS基础操作/ │ │ └── 第3章Java操作HDFS/ │ ├── Hadoop之初识MR/ │ │ ├── 第1章初识MapReduce/ │ │ ├── 第2章实战：WordCount/ │ │ ├── 第3章深入MapReduce/ │ │ └── 第4章精讲Shuffle执行过程及源码分析输入输出/ │ ├── 大数据起源之初识Hadoop/ │ │ ├── 第1章初识Hadoop/ │ │ └── 第2章Hadoop的两种安装方式/ │ └── 学好大数据先攻克Linux/ │ ├── 第1章笑傲大数据成长体系课【必看】/ │ ├── 第2章Linux虚拟机安装配置/ │ ├── 第3章Linux极速上手/ │ ├── 第4章Linux试炼之配置与shell实战/ │ └── 第5章Linux总结与走进大数据/ ├── 阶段三：Spark+综合项目：电商数据仓库设计与实战/ │ ├── 7天极速掌握Scala语言/ │ │ ├── 第1章Scala极速入门/ │ │ ├── 第2章Scala基础语法/ │ │ ├── 第3章Scala面向对象/ │ │ ├── 第4章Scala函数式编程/ │ │ ├── 第5章Scala高级特性/ │ │ └── 第6章Scala核心复盘/ │ ├── Spark3.x扩展内容/ │ │ ├── 第1章快速上手使用Spark3.x/ │ │ ├── 第2章Spark3.x版本中新特性的原理及应用/ │ │ └── 第3章SparkSQL集成Hive/ │ ├── Spark快速上手/ │ │ ├── 第1章初识Spark/ │ │ ├── 第2章解读Spark工作与架构原理/ │ │ ├── 第3章Spark实战：单词统计/ │ │ ├── 第4章Transformation与Action开发实战/ │ │ ├── 第5章RDD持久化/ │ │ ├── 第6章TopN主播统计/ │ │ └── 第7章面试与核心复盘/ │ ├── Spark性能优化的道与术/ │ │ ├── 第1章Spark三种任务提交模式/ │ │ ├── 第2章Shuffle机制分析/ │ │ ├── 第3章Spark之checkpoint/ │ │ ├── 第4章Spark程序性能优化企业级最佳实践/ │ │ ├── 第5章Spark性能优化之算子优化/ │ │ ├── 第6章极速上手SparkSql/ │ │ └── 第7章Spark实战与核心复盘/ │ ├── 综合项目：电商数据仓库之商品订单数仓/ │ │ ├── 第1章商品订单数仓需求分析/ │ │ ├── 第2章需求设计与实现/ │ │ ├── 第3章订单拉链表实战/ │ │ ├── 第4章数据可视化和任务调度实现/ │ │ ├── 第5章项目核心复盘/ │ │ └── 第6章数据压缩格式和存储格式在数仓中的应用/ │ └── 综合项目：电商数据仓库之用户行为数仓/ │ ├── 第1章电商数据仓库效果展示/ │ ├── 第2章数据仓库前置技术/ │ ├── 第3章电商数仓技术选型/ │ ├── 第4章数据生成与采集/ │ ├── 第5章用户行为数仓设计与实现/ │ └── 第6章项目核心复盘/ ├── 阶段二：PB级离线数据计算分析存储方案/ │ ├── Flume从0到高手一站式养成记/ │ │ ├── 第1章极速入门Flume/ │ │ ├── 第2章极速上手Flume使用/ │ │ ├── 第3章精讲Flume高级组件/ │ │ ├── 第4章Flume出神入化篇/ │ │ └── 第5章Flume核心复盘/ │ ├── Hive扩展内容/ │ │ ├── 第1章常见数据压缩格式的使用/ │ │ └── 第2章常见数据存储格式的使用/ │ ├── 快速上手NoSQL数据库HBase/ │ │ ├── 第1章快速了解HBase/ │ │ ├── 第2章快速上手使用HBase/ │ │ ├── 第3章深入HBase架构原理/ │ │ ├── 第4章HBase高级用法/ │ │ └── 第5章HBase调优策略和扩展内容/ │ ├── 拿来就用的企业级解决方案/ │ │ ├── 第1章剖析小文件问题与企业级解决方案/ │ │ ├── 第2章剖析数据倾斜问题与企业级解决方案/ │ │ ├── 第3章YARN实战/ │ │ ├── 第4章Hadoop官方文档使用指北【授人以鱼不如授人以渔】/ │ │ ├── 第5章Hadoop核心复盘/ │ │ └── 第6章【福利加油站】/ │ └── 数据仓库Hive从入门到小牛/ │ ├── 第1章快速了解Hive/ │ ├── 第2章数据库与数据仓库区别/ │ ├── 第3章Hive基础使用/ │ ├── 第4章Hive核心实战/ │ ├── 第5章Hive高级函数实战/ │ └── 第6章Hive技巧与核心复盘/ ├── 阶段五：综合项目：三度关系推荐系统+数据中台/ │ ├── 数据中台大屏/ │ │ ├── 第1章数据中台的前世今生/ │ │ ├── 第2章数据中台架构/ │ │ ├── 第3章什么样的企业适合建设数据中台/ │ │ ├── 第4章数据中台企业级解决方案/ │ │ ├── 第5章项目总结/ │ │ ├── 第6章数据中台之数据加工总线/ │ │ ├── 第7章数据加工总线之SparkSQL计算引擎开发/ │ │ ├── 第8章数据加工总线之FlinkSQL计算引擎开发/ │ │ └── 第9章后期展望/ │ ├── 直播平台三度关系推荐V1.0/ │ │ ├── 第1章项目介绍及演示/ │ │ ├── 第2章项目技术选型/ │ │ ├── 第3章Neo4j图数据库快速上手使用/ │ │ ├── 第4章数据采集模块分析/ │ │ ├── 第5章数据采集+聚合+分发+落盘/ │ │ ├── 第6章数据计算核心指标分析/ │ │ ├── 第7章数据核心指标计算/ │ │ └── 第8章项目核心复盘/ │ └── 直播平台三度关系推荐V2.0/ │ ├── 第1章V1.0架构方案分析及V2.0架构设计/ │ ├── 第2章V2.0架构之数据核心指标计算/ │ ├── 第3章数据接口定义及开发/ │ ├── 第4章数据展示/ │ ├── 第5章项目扩展优化/ │ └── 第6章项目核心复盘/ └── 阶段四：高频实时数据处理+海量数据全文检索方案/ ├── Es+HBase仿百度搜索引擎项目/ │ ├── 第1章企业中快速复杂查询痛点分析/ │ ├── 第2章仿百度搜索引擎项目架构设计/ │ ├── 第3章ES高级特性扩展/ │ └── 第4章开发仿百度搜索引擎项目/ ├── Flink1.15之状态的容错与一致性/ │ ├── 第1章State(状态)的容错与一致性/ │ ├── 第2章Checkpoint与State底层原理深度剖析/ │ └── 第3章Kafka-connector新API的使用/ ├── Flink1.15新特性及状态的使用/ │ ├── 第2章快速上手使用Flink1.15/ │ └── 第3章State(状态)的使用与管理/ ├── Flink快速上手篇/ │ ├── 第1章初识Flink/ │ ├── 第2章实战：流处理和批处理程序开发/ │ ├── 第3章Flink集群安装部署/ │ ├── 第4章Flink核心API之DataStreamAPI/ │ ├── 第5章Flink核心API之DataSetAPI/ │ ├── 第6章Flink核心API之TableAPI和SQL/ │ └── 第7章Flink核心复盘/ ├── Flink高级进阶之路/ │ ├── 第1章Flink中的Window和Time详解/ │ ├── 第2章Flink中的Watermark深入剖析/ │ ├── 第3章Flink中的并行度详解/ │ ├── 第4章Flink之KafkaConnector专题/ │ ├── 第5章SparkStreaming快速上手/ │ ├── 第6章Flink核心复盘/ │ └── 第7章【福利加油站】/ ├── 全文检索引擎Elasticsearch/ │ ├── 第1章快速了解Elasticsearch/ │ ├── 第2章快速上手使用Elasticsearch/ │ ├── 第3章Elasticsearch分词详解/ │ ├── 第4章Elasticsearch查询详解/ │ └── 第5章Elasticsearch的高级特性/ ├── 极速上手内存数据库Redis/ │ ├── 第1章快速了解Redis/ │ ├── 第2章Redis核心实践/ │ ├── 第3章Redis封装工具类技巧/ │ ├── 第4章Redis高级特性/ │ └── 第5章Redis核心复盘/ └── 消息队列之Kafka从入门到小牛/ ├── 第1章初识Kafka/ ├── 第2章Kafka集群安装部署/ ├── 第3章Kafka使用初体验/ ├── 第4章Kafka核心扩展内容/ ├── 第5章Kafka核心之存储和容错机制/ ├── 第6章Kafka生产消费者实战/ ├── 第7章Kafka技巧篇/ ├── 第8章Kafka小试牛刀实战篇/ └── 第9章Kafka核心复盘/
