大数据学科入门教程，从Hadoop概念、Hadoop基本使用、运行原理、到实战案例等方面进行讲解，帮助学员了解hadoop、学习Hadoop集群中的文件存储功能

*   第一章 就业课（2.1）-HDFS组件/

  *   hadoop概述_架构_安装/

    *   1-hadoop的介绍

    *   2-hadoop的版本和发行版公司介绍

    *   3-hadoop的架构-1.x架构

    *   4-hadoop的架构-2.x架构

    *   5-hadoop重新编译-准备工作1

    *   6-hadoop重新编译-准备工作2和完成编译

    *   7-hadoop安装-上传安装包

    *   8-hadoop安装-修改配置文件-上

    *   9-hadoop安装-修改配置文件-下

    *   10-hadoop安装-配置hadoop环境变量

    *   11-hadoop安装-启动集群

  *   Hadoop 核心-HDFS/

    *   1-hdfs的概述

    *   2-hdfs的应用场景

    *   3-hdfs的架构

    *   4-hdfs的namenode和datanode

    *   5-hdfs的副本机制和机架感知

    *   6-hdfs的命令行操作1

    *   6-hdfs的命令行操作2

    *   8-hdfs的命令行操作3

    *   9-hdfs的高级命令-文件限额配置-文件数量限额

    *   10-hdfs的高级命令-文件限额配置-文件大小限额

    *   11-hdfs的高级命令-安全模式

    *   12-hdfs的高级命令-基准测试

    *   13-hdfs的文件写入过程

    *   14-hdfs的文件读取过程

    *   15-hdfs的元数据管理-fsimage文件和edits文件

    *   16-hdfs的元数据管理-SecondaryNameNode

    *   1-HDFS的API操作-准备工作-配置windows的hadoop环境

    *   2-HDFS的API操作-准备工作-导入maven坐标

    *   3-HDFS的API操作-url访问方式

    *   4-HDFS的API操作-获取FileSystem-第一种方式

    *   5-HDFS的API操作-获取FileSystem-其他方式

    *   6-HDFS的API操作-遍历所有文件

    *   7-HDFS的API操作-创建文件夹

    *   8-HDFS的API操作-文件的下载和上传

    *   9-HDFS的API操作-hdfs的权限访问控制

    *   10-HDFS的API操作-小文件的合并

    *   11-HDFS的高可用机制-概述和组件

    *   12-HDFS的高可用机制-工作原理

    *   13-HDFS的联邦机制

*   第二章 就业课（2.1）-MapReduce组件/

  *   MapReduce 概述_架构_编写流程/

    *   14-MapReduce-概述

    *   15-MapReduce-设计构思

    *   16-MapReduce-编程流程

    *   17-MapReduce-编程流程-详解1

    *   18-MapReduce-编程流程-详解2

    *   1-MapReduce案例-WordCount-步骤分析

    *   2-MapReduce案例-WordCount-准备工作

    *   3-MapReduce案例-WordCount-Map代码编写

    *   4-MapReduce案例-WordCount-Reduce代码编写

    *   5-MapReduce案例-WordCount-主类代码编写

    *   6-MapReduce案例-WordCount-代码测试运行

    *   7-MapReduce案例-WordCount-问题补充

    *   8-MapReduce分区-概念和原理

    *   9-MapReduce分区-代码编写步骤

    *   10-MapReduce分区-代码实现1

    *   11-MapReduce分区-代码实现2

    *   12-MapReduce分区-代码运行

    *   13-MapReduce计数器

  *   MapReduce-排序和序列化/

    *   1-MapReduce-排序和序列化-概述

    *   2-MapReduce-排序和序列化-编程流程

    *   3-MapReduce-排序和序列化-代码编写-比较器和序列化代码实现

    *   4-MapReduce-排序和序列化-代码编写-Mapper和Reducer代码

    *   5-MapReduce-排序和序列化-代码编写-主类代码实现

    *   6-MapReduce-排序和序列化-测试运行

    *   7-MapReduce-规约(Combiner)概述

    *   8-MapReduce-规约(Combiner)-代码实现

  *   mapreduce统计求和案例/

    *   9-MapReduce综合案例-统计求和-需求和步骤分析

    *   10-MapReduce综合案例-统计求和-FlowBean和Mapper代码编写

    *   11-MapReduce综合案例-统计求和-其他代码和测试运行

    *   12-MapReduce综合案例-流量排序-FlowBean编写

    *   13-MapReduce综合案例-流量排序-Mapper编写

    *   14-MapReduce综合案例-流量排序-其他代码编写和运行

    *   15-MapReduce综合案例-手机号码分区-代码编写和运行

  *   mapreduce运行机制/

    *   1-MapReduce运行机制-MapTask的工作机制

    *   2-MapReduce运行机制-MapTask的工作机制-细节补充

    *   3-MapReduce运行机制-MapTask的工作机制-ReduceTask和Shuffle阶段

  *   mapreduce 实现Reduce以及map端 join/

    *   4-MapReduce案例-Reduce端join操作-分析

    *   5-MapReduce案例-Reduce端join操作-Mapper代码编写

    *   6-MapReduce案例-Reduce端join操作-Reducer代码编写

    *   7-MapReduce案例-Reduce端join操作-主类代码编写

    *   8-MapReduce案例-Reduce端join操作-测试运行

    *   9-MapReduce案例-Reduce端join操作-问题分析

    *   10-MapReduce案例-Map端join操作-概述和步骤分析

    *   11-MapReduce案例-Map端join操作-主类代码编写

    *   12-MapReduce案例-Map端join操作-setup方法编写

    *   13-MapReduce案例-Map端join操作-map方法编写

    *   14-MapReduce案例-Map端join操作-测试运行

  *   mapreduce 求共同好友案例/

    *   15-MapReduce案例-求共同好友-需求分析

    *   16-MapReduce案例-求共同好友-MapReduce编程步骤

    *   17-MapReduce案例-求共同好友-阶段1-Mapper和Reducer代码编写

    *   18-MapReduce案例-求共同好友-阶段1-主类代码编写和测试运行

    *   19-MapReduce案例-求共同好友-阶段2-Mapper代码编写

    *   20-MapReduce案例-求共同好友-阶段2-其他代码编写和测试运行

  *   自定义输入和输出组件实现/

    *   1-自定义InputFormat实现小文件合并-需求分析

    *   2-自定义InputFormat实现小文件合并-自定义inputformat步骤

    *   3-自定义InputFormat实现小文件合并-代码实现-准备工作

    *   4-自定义InputFormat实现小文件合并-代码实现-自定义InputFormat代码编写

    *   5-自定义InputFormat实现小文件合并-代码实现-Mapper类代码编写

    *   6-自定义InputFormat实现小文件合并-代码实现-主类代码编写和测试运行

    *   7-自定义OutputFormat-步骤分析

    *   8-自定义OutputFormat-源码分析

    *   9-自定义OutputFormat-代码编写-上

    *   10-自定义OutputFormat-代码编写-下

  *   topn案例/

    *   11-自定义分组-求TopN-步骤分析

    *   12-自定义分组-求TopN-代码编写-OrderBean

    *   13-自定义分组-求TopN-代码编写-Mapper代码

    *   14-自定义分组-求TopN-代码编写-自定义分区代码

    *   15-自定义分组-求TopN-代码编写-自定义分组代码

    *   16-自定义分组-求TopN-代码编写-Reducer代码

    *   17-自定义分组-求TopN-代码编写-主类代码和测试运行

*   第三章 就业课（2.1）-Yarn组件/

  *   yarn资源调度/

    *   18-yarn资源调度-yarn介绍

    *   19-yarn资源调度-主要组件及作用

    *   20-yarn资源调度-架构和工作流程

    *   21-yarn资源调度-调度器

    *   22-yarn资源调度-常用参数设置