值不值得学：先看你的工作是否真需要碰底层数据存储

很多上班族看到“大数据”三个字就觉得能涨薪，但如果你平时只是用 Excel 做业务报表，或者做普通的后端接口开发，直接跳进 Hadoop 其实有点浪费精力。这门课解决的是“单机存不下、算不动海量数据”的物理瓶颈，核心场景是教你怎么把几十台甚至上百台廉价服务器组成一个集群，把大文件切块分散存起来。如果你现在的痛点只是几十万行表格卡顿，去学一下 SQL 和数据库优化更立竿见影。但如果你要转行做数据开发，或者公司真的有海量日志需要搭私有化存储底座，那 HDFS 这套底层机制就是必须啃下来的硬通货，它是整个大数据生态的地基，绕不过去。

适合什么基础与建议先看哪几块

这套资料不适合纯电脑小白，它默认你已经具备基本的 Linux 命令行操作能力，懂点 Java 基础更好，不懂也能跟着把集群跑起来。建议你拿到资料后，不要一上来就死磕源码编译，先重点看 Hadoop 架构演变和 HDFS 概述这两块。先弄懂 1.x 和 2.x 架构的区别，搞清楚 NameNode 和 DataNode 到底怎么配合，再去碰安装部署。很多人卡在环境搭建上，其实编译环节遇到报错很正常，照着步骤把环境变量和配置文件改好，先把集群启动起来，有了直观的体感再去抠原理，学习阻力会小很多。

学完能独立做什么与资料怎么配合练习

踏实跟完这套资料，你能独立在一组虚拟机上把 Hadoop 集群跑通，完成分布式文件系统的搭建、配置与启动，并且知道怎么把本地几个 G 的文件切片上传到集群里存好。这相当于你掌握了大数据存储的“仓库建造”能力。配合练习时，不要只用眼睛看视频，务必自己开三台虚拟机跟着敲命令。建议把安装包上传、修改配置文件、环境变量这几段当作实操手册，边看边停顿操作。如果在修改配置文件时卡住了，再回去重看对应视频片段。把集群成功启动、能在浏览器看到节点存活状态，就算完成了第一阶段目标，后续再考虑往上层的数据计算组件延伸。


大数据学科入门教程，从Hadoop概念、Hadoop基本使用、运行原理、到实战案例等方面进行讲解，帮助学员了解hadoop、学习Hadoop集群中的文件存储功能

课程目录

*   第一章 就业课（2.1）-HDFS组件/

  *   hadoop概述_架构_安装/

    *   1-hadoop的介绍

    *   2-hadoop的版本和发行版公司介绍

    *   3-hadoop的架构-1.x架构

    *   4-hadoop的架构-2.x架构

    *   5-hadoop重新编译-准备工作1

    *   6-hadoop重新编译-准备工作2和完成编译

    *   7-hadoop安装-上传安装包

    *   8-hadoop安装-修改配置文件-上

    *   9-hadoop安装-修改配置文件-下

    *   10-hadoop安装-配置hadoop环境变量

    *   11-hadoop安装-启动集群

  *   Hadoop 核心-HDFS/

    *   1-hdfs的概述

    *   2-hdfs的应用场景

    *   3-hdfs的架构

    *   4-hdfs的namenode和datanode

    *   5-hdfs的副本机制和机架感知

    *   6-hdfs的命令行操作1

    *   6-hdfs的命令行操作2

    *   8-hdfs的命令行操作3

    *   9-hdfs的高级命令-文件限额配置-文件数量限额

    *   10-hdfs的高级命令-文件限额配置-文件大小限额

    *   11-hdfs的高级命令-安全模式

    *   12-hdfs的高级命令-基准测试

    *   13-hdfs的文件写入过程

    *   14-hdfs的文件读取过程

    *   15-hdfs的元数据管理-fsimage文件和edits文件

    *   16-hdfs的元数据管理-SecondaryNameNode

    *   1-HDFS的API操作-准备工作-配置windows的hadoop环境

    *   2-HDFS的API操作-准备工作-导入maven坐标

    *   3-HDFS的API操作-url访问方式

    *   4-HDFS的API操作-获取FileSystem-第一种方式

    *   5-HDFS的API操作-获取FileSystem-其他方式

    *   6-HDFS的API操作-遍历所有文件

    *   7-HDFS的API操作-创建文件夹

    *   8-HDFS的API操作-文件的下载和上传

    *   9-HDFS的API操作-hdfs的权限访问控制

    *   10-HDFS的API操作-小文件的合并

    *   11-HDFS的高可用机制-概述和组件

    *   12-HDFS的高可用机制-工作原理

    *   13-HDFS的联邦机制

*   第二章 就业课（2.1）-MapReduce组件/

  *   MapReduce 概述_架构_编写流程/

    *   14-MapReduce-概述

    *   15-MapReduce-设计构思

    *   16-MapReduce-编程流程

    *   17-MapReduce-编程流程-详解1

    *   18-MapReduce-编程流程-详解2

    *   1-MapReduce案例-WordCount-步骤分析

    *   2-MapReduce案例-WordCount-准备工作

    *   3-MapReduce案例-WordCount-Map代码编写

    *   4-MapReduce案例-WordCount-Reduce代码编写

    *   5-MapReduce案例-WordCount-主类代码编写

    *   6-MapReduce案例-WordCount-代码测试运行

    *   7-MapReduce案例-WordCount-问题补充

    *   8-MapReduce分区-概念和原理

    *   9-MapReduce分区-代码编写步骤

    *   10-MapReduce分区-代码实现1

    *   11-MapReduce分区-代码实现2

    *   12-MapReduce分区-代码运行

    *   13-MapReduce计数器

  *   MapReduce-排序和序列化/

    *   1-MapReduce-排序和序列化-概述

    *   2-MapReduce-排序和序列化-编程流程

    *   3-MapReduce-排序和序列化-代码编写-比较器和序列化代码实现

    *   4-MapReduce-排序和序列化-代码编写-Mapper和Reducer代码

    *   5-MapReduce-排序和序列化-代码编写-主类代码实现

    *   6-MapReduce-排序和序列化-测试运行

    *   7-MapReduce-规约(Combiner)概述

    *   8-MapReduce-规约(Combiner)-代码实现

  *   mapreduce统计求和案例/

    *   9-MapReduce综合案例-统计求和-需求和步骤分析

    *   10-MapReduce综合案例-统计求和-FlowBean和Mapper代码编写

    *   11-MapReduce综合案例-统计求和-其他代码和测试运行

    *   12-MapReduce综合案例-流量排序-FlowBean编写

    *   13-MapReduce综合案例-流量排序-Mapper编写

    *   14-MapReduce综合案例-流量排序-其他代码编写和运行

    *   15-MapReduce综合案例-手机号码分区-代码编写和运行

  *   mapreduce运行机制/

    *   1-MapReduce运行机制-MapTask的工作机制

    *   2-MapReduce运行机制-MapTask的工作机制-细节补充

    *   3-MapReduce运行机制-MapTask的工作机制-ReduceTask和Shuffle阶段

  *   mapreduce 实现Reduce以及map端 join/

    *   4-MapReduce案例-Reduce端join操作-分析

    *   5-MapReduce案例-Reduce端join操作-Mapper代码编写

    *   6-MapReduce案例-Reduce端join操作-Reducer代码编写

    *   7-MapReduce案例-Reduce端join操作-主类代码编写

    *   8-MapReduce案例-Reduce端join操作-测试运行

    *   9-MapReduce案例-Reduce端join操作-问题分析

    *   10-MapReduce案例-Map端join操作-概述和步骤分析

    *   11-MapReduce案例-Map端join操作-主类代码编写

    *   12-MapReduce案例-Map端join操作-setup方法编写

    *   13-MapReduce案例-Map端join操作-map方法编写

    *   14-MapReduce案例-Map端join操作-测试运行

  *   mapreduce 求共同好友案例/

    *   15-MapReduce案例-求共同好友-需求分析

    *   16-MapReduce案例-求共同好友-MapReduce编程步骤

    *   17-MapReduce案例-求共同好友-阶段1-Mapper和Reducer代码编写

    *   18-MapReduce案例-求共同好友-阶段1-主类代码编写和测试运行

    *   19-MapReduce案例-求共同好友-阶段2-Mapper代码编写

    *   20-MapReduce案例-求共同好友-阶段2-其他代码编写和测试运行

  *   自定义输入和输出组件实现/

    *   1-自定义InputFormat实现小文件合并-需求分析

    *   2-自定义InputFormat实现小文件合并-自定义inputformat步骤

    *   3-自定义InputFormat实现小文件合并-代码实现-准备工作

    *   4-自定义InputFormat实现小文件合并-代码实现-自定义InputFormat代码编写

    *   5-自定义InputFormat实现小文件合并-代码实现-Mapper类代码编写

    *   6-自定义InputFormat实现小文件合并-代码实现-主类代码编写和测试运行

    *   7-自定义OutputFormat-步骤分析

    *   8-自定义OutputFormat-源码分析

    *   9-自定义OutputFormat-代码编写-上

    *   10-自定义OutputFormat-代码编写-下

  *   topn案例/

    *   11-自定义分组-求TopN-步骤分析

    *   12-自定义分组-求TopN-代码编写-OrderBean

    *   13-自定义分组-求TopN-代码编写-Mapper代码

    *   14-自定义分组-求TopN-代码编写-自定义分区代码

    *   15-自定义分组-求TopN-代码编写-自定义分组代码

    *   16-自定义分组-求TopN-代码编写-Reducer代码

    *   17-自定义分组-求TopN-代码编写-主类代码和测试运行

*   第三章 就业课（2.1）-Yarn组件/

  *   yarn资源调度/

    *   18-yarn资源调度-yarn介绍

    *   19-yarn资源调度-主要组件及作用

    *   20-yarn资源调度-架构和工作流程

    *   21-yarn资源调度-调度器

    *   22-yarn资源调度-常用参数设置