这门课解决什么问题，适合谁学

Hadoop 是大数据领域的基石，但它的概念抽象、组件众多，很多初学者容易陷入“听得懂原理，配不出环境”的困境。这套慕课网课程的核心价值，在于把 Hadoop 从“黑盒”变成可操作的工程技能。它不只讲理论，更重点解决分布式存储（HDFS）和分布式计算（MapReduce）在真实企业环境中的部署与运行问题。

课程非常适合两类人：一是计算机相关专业在校生，希望建立对大数据底层架构的系统认知；二是后端开发或运维人员，希望从传统架构转型，掌握集群管理、数据分发与任务调度的核心能力。如果你完全没有 Linux 基础，建议先补一下常用命令，因为后续环境搭建和故障排查会全程依赖命令行操作。

建议先看哪几块，资料如何配合练习

不要一上来就跳进代码配置，前两个章节必须细读。第一章用近一小时时间厘清“什么是大数据”、“4V 特征”、“技术变革与挑战”，这是建立全局观的关键，能帮你理解为什么需要 Hadoop，而不是机械记忆定义。第二章快速过一遍 Hadoop 三大核心组件（HDFS、MapReduce、YARN）的分工，以及生态圈和发行版选型，建立知识地图。

第三章是实战重头戏，特别是 HDFS 的 NameNode、DataNode 架构详解，以及副本机制的设计哲学。从这里开始，课程切入 Linux 环境部署和 JDK 配置。资料包中包含的“学前必读”指南是避坑关键，务必先看，它总结了常见环境报错和解决方案，能极大减少你独立折腾的时间。练习时，建议跟着视频手动搭建一次伪分布式环境，亲自执行 NameNode 格式化、启动服务、上传文件、运行 WordCount 示例等完整流程。只有亲手踩一遍坑，才能真正理解 HDFS 的存储逻辑和 MapReduce 的计算模型。

学完能独立做什么

完成本课后，你将具备独立搭建和管理单机 Hadoop 集群的能力。具体表现为：能够根据业务需求选择适合的 Hadoop 发行版；熟练配置 Linux 下的 Java 环境和 SSH 免密登录；理解 HDFS 的文件块划分、副本存储及容错机制，并能在 Web UI 中监控集群状态；掌握 MapReduce 编程模型，能够编写简单 Job 处理日志分析、数据统计等常见场景任务；清晰区分 YARN 的资源调度流程，为后续学习 Spark、Hive 等上层应用打下坚实基础。这不是速成课，但它是通向大数据工程师最扎实的一条路。

课程目录

第1章 大数据概述 试看 

12 节 | 58分钟 1-1 课程导学 (14:27).mp4
 1-2 ***学前必读***（助你平稳踩坑，畅学无忧，课程学习与解决问题指南）.mp4
 1-3 课程目录 (01:52).mp4
 1-4 从一个案例说起 (03:54).mp4
 1-5 什么是大数据以及大数据的4V特征 (08:30).mp4
 1-6 大数据带来的技术变革 (05:37).mp4
 1-7 大数据现存的模式 (02:29).mp4
 1-8 大数据的技术概念 (08:47).mp4
 1-9 大数据带来的挑战 (04:18).mp4
 1-

10 如何对大数据进行存储和分析 (03:54).mp4
 1-

11 大数据典型应用 (03:14).mp4
 1-12 【讨论题】谈谈你对大数据就业岗位的认知.mp4
 第2章 初识Hadoop 

10 节 | 63分钟 2-1 课程目录 (02:48).mp4
 2-2 Hadoop概述 (14:21).mp4
 2-3 Hadoop核心组件之HDFS概述 (07:07).mp4
 2-4 Hadoop核心组件之MapReduce (05:02).mp4
 2-5 Hadoop核心组件之YARN (02:44).mp4
 2-6 Hadoop优势 (03:03).mp4
 2-7 Hadoop发展史 (06:06).mp4
 2-8 Hadoop生态圈 (06:32).mp4
 2-9 Hadoop发行版选型 (07:39).mp4
 2-

10 OOTB环境的使用 (06:43).mp4
 第3章 分布式文件系统HDFS 

42 节 | 286分钟 3-1 HDFS概述 (08:45).mp4
 3-2 HDFS设计目标 (10:17).mp4
 3-3 HDFS架构详解 (15:36).mp4
 3-4 文件系统NameSpace详解 (03:14).mp4
 3-5 HDFS副本机制 (04:33).mp4
 3-6 本课程使用的Linux环境介绍 (14:13).mp4
 3-7 Hadoop部署前置介绍 (10:26).mp4
 3-8 JDK1.8部署详解 (06:32).mp4
 3-9 ssh无密码登陆部署详解 (07:42).mp4
 3-10 Hadoop安装目录详解及hadoop-env配置 (09:23).mp4
 3-

11 HDFS格式化以及启动详解 (11:48).mp4
 3-

12 HDFS常见文件之防火墙干扰 (03:53).mp4
 3-

13 Hadoop停止集群以及如何单个进程启动 (03:48).mp4
 3-

14 Hadoop命令行操作详解 (14:47).mp4
 3-

15 深度剖析Hadoop文件的存储机制 (07:56).mp4
 3-

16 HDFS API编程之开发环境搭建 (10:00).mp4
 3-

17 HDFS API编程之第一个应用程序的开发 (08:57).mp4
 3-

18 HDFS API编程之jUnit封装 (05:41).mp4
 3-

19 HDFS API编程之查看HDFS文件内容 (02:04).mp4
 3-

20 HDFS API编程之创建文件并写入内容 (02:19).mp4
 3-

21 HDFS API编程之副本系数深度剖析 (05:25).mp4
 3-

22 HDFS API编程之重命名 (02:01).mp4
 3-

23 HDFS API编程之copyFromLocalFile (01:59).mp4
 3-

24 HDFS API编程之带进度的上传大文件 (05:26).mp4
 3-

25 HDFS API编程之下载文件 (01:44).mp4
 3-

26 HDFS API编程之列出文件夹下的所有内容 (04:58).mp4
 3-

27 HDFS API编程之递归列出文件夹下的所有文件 (04:03).mp4
 3-

28 HDFS API编程之查看文件块信息 (04:29).mp4
 3-

29 HDFS API编程之删除文件 (01:59).mp4
 3-

30 HDFS项目实战之需求分析 (03:38).mp4
 3-

31 HDFS项目实战之代码框架编写 (13:17).mp4
 3-

32 HDFS项目实战之自定义上下文 (03:58).mp4
 3-

33 HDFS项目实战之自定义处理类实现 (04:19).mp4
 3-

34 HDFS项目实战之功能实现 (02:59).mp4
 3-

35 HDFS项目实战之使用自定义配置文件重构代码 (10:26).mp4
 3-36 HDFS项目实战之使用反射创建自定义Mapper对象 (04:43).mp4
 3-

37 HDFS项目实战之可插拔的业务逻辑处理 (02:06).mp4
 3-

38 HDFS Replica Placement Policy (10:07).mp4
 3-

39 HDFS写数据流程图解 (10:39).mp4
 3-

40 HDFS读数据流程图解 (05:09).mp4
 3-

41 HDFS Checkpoint详解 (14:36).mp4
 3-

42 HDFS SaveMode (05:17).mp4
 第4章 分布式计算框架MapReduce 

17 节 | 128分钟 4-1 课程目录 (02:28).mp4
 4-2 MapReduce概述 (05:27).mp4
 4-3 MapReduce编程模型详解 (09:52).mp4
 4-4 MapReduce编程模型核心概念详解 (08:14).mp4
 4-5 词频统计之自定义Mapper实现 (12:13).mp4
 4-6 词频统计之自定义Reducer实现 (07:37).mp4
 4-7 词频统计之自定义Driver类实现 (17:15).mp4
 4-8 词频统计之本地方式运行 (02:29).mp4
 4-9 词频统计之通过Debug方式进一步了解偏移量以及重构代码 (06:43).mp4
 4-

10 词频统计升级之Combiner操作 (12:55).mp4
 4-

11 流量统计实战之需求 (06:48).mp4
 4-

12 流量统计实战之自定义复杂数据类型 (04:22).mp4
 4-

13 流量统计实战之自定义Mapper类 (04:22).mp4
 4-

14 流量统计实战之自定义Reducer实现 (02:24).mp4
 4-

15 流量统计实战之Driver开发 (06:56).mp4
 4-16 流量统计实战之代码重构及NullWritable的使用 (01:48).mp4
 4-

17 流量统计实战升级之自定义Partitioner (15:08).mp4
 第5章 资源调度框架YARN 8 节 | 61分钟 5-1 课程目录 (02:28).mp4
 5-2 YARN产生背景 (08:07).mp4
 5-3 YARN概述 (06:43).mp4
 5-4 YARN架构详解 (09:29).mp4
 5-5 YARN执行流程 (04:50).mp4
 5-6 YARN环境部署 (08:33).mp4
 5-7 提交example案例到YARN上运行 (09:33).mp4
 5-8 提交流量统计案例到YARN上运行 (10:27).mp4
 第6章 电商项目实战Hadoop实现 

21 节 | 127分钟 6-1 课程目录 (02:29).mp4
 6-2 用户行为日志概述 (10:58).mp4
 6-3 为什么要记录用户行为日志 (02:17).mp4
 6-4 日志内容介绍 (05:42).mp4
 6-5 用户行为日志分析的意义所在 (04:53).mp4
 6-6 电商常用术语 (03:58).mp4
 6-7 项目需求描述 (02:02).mp4
 6-8 数据处理流程及技术架构 (07:11).mp4
 6-9 浏览量统计功能实现 (11:25).mp4
 6-

10 省份浏览量统计之IP库解析 (05:11).mp4
 6-

11 省份浏览量统计之日志解析 (08:38).mp4
 6-

12 省份浏览量统计之功能实现 (11:44).mp4
 6-

13 页面浏览量统计之页面编号获取 (06:12).mp4
 6-

14 页面浏览量统计之功能实现 (04:40).mp4
 6-

15 数据处理过程中ETL的重要性 (04:20).mp4
 6-

16 原始日志ETL操作 (09:22).mp4
 6-

17 浏览量统计功能升级 (01:17).mp4
 6-

18 省份浏览量统计功能升级 (03:51).mp4
 6-

19 页面浏览量统计功能升级思路 (00:29).mp4
 6-

20 打包到服务器上运行 (10:02).mp4
 6-

21 项目扩展 (09:33).mp4
 第7章 数据仓库Hive 

19 节 | 103分钟 7-1 课程目录 (02:58).mp4
 7-2 Hive产生背景 (05:01).mp4
 7-3 Hive是什么 (05:51).mp4
 7-4 为什么要使用Hive (03:53).mp4
 7-5 Hive在Hadoop生态圈中的位置 (01:43).mp4
 7-6 Hive体系架构 (07:05).mp4
 7-7 Hive部署架构 (07:30).mp4
 7-8 Hive与RDBMS的区别 (02:42).mp4
 7-9 Hive部署 (08:08).mp4
 7-

10 Hive快速入门 (06:58).mp4
 7-

11 Hive DDL之数据库操作 (12:37).mp4
 7-

12 Hive DDL之表操作 (09:25).mp4
 7-

13 Hive DML之加载和导出数据 (09:15).mp4
 7-

14 Hive QL基本统计 (03:08).mp4
 7-

15 Hive QL之聚合函数 (02:25).mp4
 7-

16 Hive QL之分组函数 (06:07).mp4
 7-

17 Hive QL之join的使用 (03:39).mp4
 7-

18 Hive QL执行计划 (03:47).mp4
 7-19 【讨论题】Hive高可用架构的思考.mp4
 第8章 电商项目实战Hive实现 7 节 | 39分钟 8-1 课程目录 (01:40).mp4
 8-2 外部表在Hive中的使用 (07:19).mp4
 8-3 track_info分区表的创建 (03:36).mp4
 8-4 将ETL的数据加载到Hive表 (11:03).mp4
 8-5 使用Hive完成统计分析功能 (09:55).mp4
 8-6 Hive实现项目的方便性体现 (04:51).mp4
 8-7 【讨论题】大数据处理过程中关于血缘关系的思考.mp4
 第9章 Hadoop分布式集群搭建 8 节 | 38分钟 9-1 课程目录 (01:35).mp4
 9-2 Hadoop集群规划 (04:39).mp4
 9-3 前置条件安装 (04:12).mp4
 9-4 JDK安装 (04:20).mp4
 9-5 Hadoop集群部署 (14:56).mp4
 9-6 提交作业到Hadoop集群上运行 (02:30).mp4
 9-7 课程总结 (05:29).mp4
 9-8 【讨论题】关于Hadoop高可用架构的思考.mp4
 第10章 （彩蛋番外篇）Join在MapReduce中的实现 5 节 | 54分钟 10-1 Join概述 (08:07).mp4
 10-2 ReduceJoin流程分析 (08:15).mp4
 10-3 ReduceJoin功能实现 (19:32).mp4
 10-4 MapJoin实现原理 (04:44).mp4
 10-5 MapJoin功能实现 (12:49).mp4
 第11章 （讨论群内直播内容分享）Hadoop小问题剖析 6 节 | 46分钟 11-1 小文件问题 (04:13).mp4
 11-2 什么是小文件 (04:16).mp4
 11-3 小文件怎么产生的 (07:19).mp4
 11-4 小文件解决方案（上） (11:19).mp4
 11-5 小文件解决方案（下） (11:01).mp4
 11-6 Hadoop真的凉了吗 (07:30).mp4
 第12章 （讨论群内直播内容分享）Hadoop的特性在生产上的使用 3 节 | 44分钟 12-1 文件归档及透明访问 (13:45).mp4
 12-2 distcp及scp (14:59).mp4
 12-3 回收站 (14:20).mp4
 第13章 （彩蛋番外篇）Hadoop3.x新特性及实操 

17 节 | 115分钟 13-1 课程目录 (04:46).mp4
 13-2 如何从官网获取Hadoop3.x新特性 (03:02).mp4
 13-3 Hadoop3.x新特性之JDK8 (02:14).mp4
 13-4 Hadoop3.x新特性之EC技术详解 (21:25).mp4
 13-5 Hadoop3.x新特性之其他 (13:38).mp4
 13-6 云服务器及大数据相关产品了解_1 (04:35).mp4
 13-7 如何快速选型并开通云主机 (13:26).mp4
 13-8 云主机配置修改 (05:21).mp4
 13-9 JDK部署 (04:27).mp4
 13-

10 HDFS部署 (10:47).mp4
 13-

11 免密码登陆配置 (03:45).mp4
 13-

12 YARN部署及使用 (07:11).mp4
 13-13 Hadoop3.x端口问题分析 (06:04).mp4
 13-14 将项目升级运行到Hadoop3.x之上 (07:54).mp4
 13-

15 云服务器停止及销毁 (03:19).mp4
 13-

16 本章小结 (02:48).mp4
 13-17 【讨论题】谈谈你对Hadoop框架过时的看法.mp4
 第14章 （彩蛋番外篇）压缩在大数据中的使用 

14 节 | 59分钟 14-1 课程目录 (03:06).mp4
 14-2 为什么要使用压缩 (05:20).mp4
 14-3 压缩的使用场景 (05:58).mp4
 14-4 压缩使用的注意事项- (05:02).mp4
 14-5 常见压缩格式- (01:56).mp4
 14-6 Codec详解 (05:42).mp4
 14-7 压缩编程实战 (11:16).mp4
 14-8 解压缩编程实战 (03:44).mp4
 14-9 压缩和解压缩在Hadoop源码中的体现 (03:08).mp4
 14-

10 Hadoop整合压缩使用之代码设置 (07:16).mp4
 14-

11 Hadoop整合压缩使用之配置文件设置 (03:00).mp4
 14-

12 作业 (01:25).mp4
 14-

13 本章小结 (02:02).mp4
 14-14 【讨论题】关于压缩的思考.mp4
 第15章 （彩蛋番外篇）Hive必考的SQL功能及窗口函数 

25 节 | 130分钟 15-1 课程目录 (01:44).mp4
 15-2 行转列功能需求分析 (04:46).mp4
 15-3 行转列数据准备 (01:35).mp4
 15-4 行转列功能实现 (07:27).mp4
 15-5 列转行功能需求分析 (02:39).mp4
 15-6 列转行功能实现 (05:16).mp4
 15-7 累计问题之需求分析 (11:16).mp4
 15-8 累计问题之第一部分功能实现 (03:52).mp4
 15-9 累计问题之第二和第三个部分功能实现 (09:35).mp4
 15-

10 累计问题之SQL调优 (06:42).mp4
 15-

11 累计问题之窗口函数实现 (09:03).mp4
 15-

12 引出窗口函数 (05:28).mp4
 15-

13 窗口函数之求和及窗口如何划分 (13:14).mp4
 15-

14 窗口函数之LEAD&LAG (06:34).mp4
 15-15 窗口函数之FIRST_VALUE&LAST_VALUE (02:19).mp4
 15-

16 窗口函数之NTILE (04:15).mp4
 15-17 窗口函数之ROW_NUMBER&RANK&DENSE_RANK (05:39).mp4
 15-18 窗口函数之CUME_DIST&PERCENT_RANK (07:51).mp4
 15-

19 窗口函数实战之准备工作 (03:04).mp4
 15-

20 窗口函数实战之功能二实现 (03:03).mp4
 15-

21 窗口函数实战之功能一实现 (07:42).mp4
 15-

22 窗口函数实战之功能三实现 (01:16).mp4
 15-

23 窗口函数实战之功能四实现 (01:33).mp4
 15-

24 窗口函数实战之功能五实现 (01:37).mp4
 15-

25 窗口函数实战之作业 (01:41).mp4
 第16章 （彩蛋番外篇）Hive核心调优 

10 节 | 71分钟 16-1 课程目录 (03:44).mp4
 16-2 Hive调优概述 (08:17).mp4
 16-3 调优之本地模式 (07:59).mp4
 16-4 调优之初识执行计划 (11:57).mp4
 16-5 调优之如何使用执行计划进行案例分析 (08:29).mp4
 16-6 调优之JVM重用 (05:16).mp4
 16-7 调优之并行执行 (06:48).mp4
 16-8 调优之抓取策略 (04:45).mp4
 16-9 调优之严格模式 (05:09).mp4
 16-

10 调优总结 (07:59).mp4