先搞清楚：这门 Hadoop 3 课到底解决什么工作场景
很多做后端开发或数据分析的人，迟早会撞到一个瓶颈：单机内存算不动几十个 G 的业务日志，或者公司要把历史数据从关系型数据库迁到更便宜的分布式存储上。这门课解决的就是这类具体场景——把数据拆开存到多台廉价机器上，并让程序在这些机器上并行跑。它不教你写业务代码，而是带你理解“数据切块、副本存放、主节点协调”的底层逻辑。如果你目前的工作只是写 SQL 或调 API，想弄明白 TB 级数据在集群里到底是怎么流动的，这就是切入点。
适合什么基础，以及建议先看哪几块
这资料不适合零基础转码的人，它默认你写过代码、懂 Linux 命令行、知道 Java 环境变量是怎么回事。如果你连虚拟机都没配过，前期会卡在环境准备上。建议直接跳过前面的概念泛讲，先看“分布式存储的特点”和“主节点元数据存储”这两块。前者帮你建立数据分块和容错的物理直觉，后者讲的是 NameNode 怎么管理文件目录树——这是面试和实际排错时最常被问到的核心机制。看完这两块，再回头去配 HDFS 集群，你会清楚每一步配置项到底在约束什么，而不是盲目复制命令。
资料怎么配合练习，学完能独立做什么
这套视频是典型的“看懂原理”加“动手搭集群”的组合，光看不练等于没学。正确的用法是：准备三台虚拟机，跟着存储集群的安装步骤一步步敲。重点卡在无密钥登录和 JAVA_HOME 配置上，这往往是新手部署失败的重灾区。把集群跑起来后，尝试手动上传一个几 G 的文件，观察数据块是怎么分布在各个从节点上的，再模拟关掉一台机器，看看文件还能不能正常读取。学完这套流程，你能独立搭建并维护一个小型 HDFS 集群，看懂集群运行日志里的报错，并在后端面试中把分布式存储的容灾机制讲清楚。至于分布式计算部分，等存储这关过了再去碰，别一口吞下整个体系。
掌握大数据核心技术中的分布式存储和分布式计算
课程目录
* 01 课程答疑/
* 01 老汤大数据课程体系介绍.mp4 06:21
* 02 大数据技术思想入门/
* 01 分布式存储的特点.mp4 13:05
* 02 大数据技术发展
* 03 分布式存储集群特点.mp4 11:27
* 04 分布式文件存储的流程.mp4 10:18
* 05 主节点中的元数据是怎么存储的.mp4 11:54
* 06 分布式计算的特点.mp4 10:30
* 03 分布式存储 - HDFS 集群配置安装/
* 01 HDFS 课程内容介绍.mp4 01:51
* 02 HDFS 集群介绍.mp4 05:28
* 03 安装前准备：准备 3 台虚拟机.mp4 02:47
* 04 安装前准备：配置无密钥登录.mp4 06:13
* 05 安装前准备：配置 JAVA_HOME.mp4 04:21
* 06 安装前准备：关闭防火墙.mp4 01:10
* 07 安装包的下载和解压.mp4 06:14
* 08 配置 HDFS 的基本路径.mp4 02:08
* 09 创建名字节点和数据节点存储数据的文件目录.mp4 02:56
* 10 HDFS 相关配置值的设置.mp4 03:57
* 11 配置 Java Home以及从节点.mp4 04:21
* 12 配置 HADOOP_HOME.mp4 03:18
* 13 HDFS 集群启动.mp4 03:45
* 14 验证 HDFS 集群是否正常.mp4 03:35
* 15 怎么样查看 HDFS 的日志信息.mp4 04:09
* 16 HDFS 集群正确停止的方式.mp4 02:02
* 04 分布式存储 - HDFS 集群的使用/
* 01 HDFS Web UI 的讲解.mp4 07:09
* 02 HDFS shell 命令介绍.mp4 05:25
* 03 本地文件上传到 HDFS 集群.mp4 06:26
* 04 文件操作命令.mp4 04:07
* 05 修改文件的权限.mp4 02:26
* 06 df 和 du.mp4 02:17
* 07 文件恢复机制.mp4 09:45
* 08 准备一个大文件.mp4 04:09
* 09 HDFS 分布式文件写的过程.mp4 05:17
* 10 HDFS 分布式文件读的过程.mp4 03:29
* 05 分布式存储 - 数据块/
* 01 数据块元数据.mp4 04:33
* 02 设置数据块的备份数.mp4 04:01
* 03 设置数据块的大小.mp4 05:40
* 04 数据块真正存储的地方.mp4 05:11
* 05 DataNode 和 NameNode 交互.mp4 05:53
* 06 HDFS 分布式文件删除的流程.mp4 02:57
* 06 分布式存储 - EditsLog 和 FsImage/
* 01 回顾 NameNode 元数据是怎么存储的.mp4 03:55
* 02 EditsLog 存储目录和内容.mp4 07:31
* 03 EditsLog 记录每次元数据操作信息.mp4 09:33
* 04 EditsLog恢复NameNode元数据.mp4 05:10
* 05 EditsLog 合并的条件.mp4 03:54
* 06 FsImage 文件内容.mp4 06:32
* 07 为什么还要 EditsLog 呢？.mp4 04:28
* 08 EditsLog 合并的流程.mp4 08:04
* 07 分布式存储 - Java 操作 HDFS/
* 01 Java 操作 HDFS 准备.mp4 02:57
* 02 Java 写 HDFS 文件.mp4 06:50
* 03 Java 读 HDFS 文件.mp4 03:19
* 04 Java 查询 HDFS 文件元数据.mp4 03:25
* 05 Java 删除 HDFS 文件.mp4 02:08
* 06 在 Java 代码中设置参数.mp4 03:12
* 07 在 classpath 中设置参数.mp4 05:10
* 08 两种设置参数的优先级.mp4 01:47
* 09 HDFS 文件系统的两个特点.mp4 03:47
* 08 分布式计算 - 内容介绍/
* 01 分布式计算内容介绍.mp4 02:57
* 09 分布式计算 - 基础/
* 01 数据准备.mp4 05:06
* 02 回顾分布式计算的特点.mp4 04:04
* 03 Yarn 的作用.mp4 05:51
* 04 Yarn 的安装配置.mp4 07:46
* 05 Yarn 的 Web UI 简介.mp4 02:23
* 06 有了 Yarn 后的分布式计算.mp4 02:49
* 07 MapReduce 配置.mp4 08:25
* 08 创建项目.mp4 02:39
* 09 序列化的作用.mp4 09:55
* 10 Hadoop 序列化机制.mp4 10:11
* 10 分布式计算 - DistributedCount程序/
* 01 DistributedCount 流程.mp4 06:56
* 02 Map 任务实现.mp4 06:04
* 03 Reduce 任务实现.mp4 05:31
* 04 Driver 实现.mp4 09:55
* 05 Map 端合并.mp4 03:13
* 06 代码优化.mp4 02:58
* 07 在集群上运行程序.mp4 07:31
* 08 集群状态的变化.mp4 06:14
* 09 Map Task 的数量和文件大小的关系.mp4 05:36
* 11 分布式计算 - 移动计算而非移动数据/
* 01 Yarn Web UI 查看日志.mp4 04:29
* 02 问题：为什么移动了数据块？.mp4 03:12
* 03 打开History Server 服务.mp4 10:44
* 04 MRAppMaster 计算资源的配置.mp4 05:55
* 05 YarnChild 计算资源的配置.mp4 06:07
* 06 代码中设置 MR 进程需要的资源.mp4 04:48
* 07 Yarn 中的 Container 概念.mp4 03:11
* 08 Yarn 应用启动流程.mp4 05:39
* 09 Container 分配规则一：最小最大规则.mp4 08:27
* 10 Container 分配规则二：整数倍规则.mp4 06:35
* 11 Container 分配规则总结.mp4 01:48
* 12 数据块移动的原因.mp4 10:15
* 13 移动计算而尽可能少的移动数据.mp4 09:51
* 14 设置 reduce task 的数量.mp4 03:35
* 15 代码优化.mp4 03:43
* 12 分布式计算 - WordCount/
* 01 WordCount 计算流程.mp4 07:11
* 02 WordCount Map Task 实现.mp4 05:20
* 03 Reduce Task 实现.mp4 04:20
* 04 WordCount Driver 实现.mp4 02:41
* 05 集群运行 WordCount.mp4 05:29
* 06 MapReduce 默认的分区规则.mp4 04:46
* 07 Input 和 Output Format.mp4 08:45
* 08 MapReduce 执行流程.mp4 03:59
* 09 WordCount 执行流程.mp4 07:02
* 10 Shuffle 和 Sort.mp4 07:05
* 11 MapReduce On Yarn 运行原理.mp4 07:52
* 13 Hadoop 2 之 HDFS 安装/
* 01 Hadoop 2 学习前说明.mp4 04:46
* 02 HDFS的安装(一).mp4 33:06
* 03 WebUI看不了怎么办.mp4 03:33
* 04 HDFS的安装(二).mp4 06:16
* 14 Hadoop 2 之 HDFS 运维相关/
* 01 Federation配置.mp4 18:22
* 02 ViewFS的配置.mp4 10:56
* 03 回退到一个NameNode的状态.mp4 05:04
* 04 告诉你怎么使用Snapshots.mp4 23:43
* 05 平衡数据.mp4 03:32
* 06 SafeMode.mp4 03:46
* 15 Hadoop 2 之 MapReduce 和 Yarn/
* 01 Yarn的安装.mp4 09:13
* 02 MapReduce安装.mp4 13:51
* 03 MapReduce应用(了解即可).mp4 17:33
* 04 Hadoop压缩机制(了解即可).mp4 09:00
* 16 Hadoop 2 之文件格式(这章能理解代码即可)/
* 01 text文件格式的读写.mp4 21:02
* 02 avro文件和parquet文件的讲解.mp4 09:36
* 03 avro文件的读写(能看懂代码即可).mp4 20:45
* 04 parquet文件的读写(必须掌握).mp4 14:40
* 05 sequenceFile文件(看懂代码即可).mp4 08:37
* 06 sequenceFile合并小文件.mp4 18:14
* 07 CombineTextInputFormat.mp4 10:08
* 17 Hadoop 2 之 Yarn 资源调度机制/
* 01 Yarn的三种资源调度机制.mp4 07:49
* 02 Capacity Scheduler.mp4 14:18
* 03 Yarn Fair Scheduler配置.mp4 08:32
* 18 阶段项目实战 - NCDC 气候数据分析实战(跟着操作一遍)/
* 01 NCDC数据源的获取.mp4 19:53
* 02 NCDC数据字段的详解.mp4 17:55
* 03 NCDC数据的预处理.mp4 19:55
* 04 数据处理逻辑以及实现方案讲解.mp4 16:14
* 05 MapReduce代码实现讲解.mp4 22:45
* 06 Hadoop的本地安装.mp4 04:46
* 07 单元测试、集成测试以及验证.mp4 19:26
* 08 求每一年highest的温度.mp4 10:41
* 09 老汤大数据课程之 Hadoop 3
