这门课解决什么问题

很多做后端或运维的人，遇到公司数据量暴涨时，单机存储和传统数据库直接卡死，业务跑不动，报表出不来。这门课针对的就是这种场景：用Hadoop3搭一套能横向扩展的分布式存储和计算底座，解决海量数据放不下、算不动的问题。它不教高深算法，而是带你从零把环境搭起来，跑通MapReduce官方案例，理解数据怎么分片、怎么冗余、怎么在节点间流转。如果你在纠结要不要学大数据，先问自己：日常工作是否要处理TB级数据、是否需要做离线数仓、是否想往数据开发方向转。如果是，这套底座是绕不开的；如果只是写CRUD，可能优先级不高。

适合什么基础，建议先看哪几块

资料默认你有Linux基础，至少会敲常用命令、懂SSH免密配置，Java环境变量配置也得会。纯小白直接上手，大概率卡在环境报错上。建议先看Hadoop3简介和JDK8环境配置这两节，确认本地环境能跑通，再跳到伪分布式配置——这是理解单节点怎么模拟多节点的关键。别一上来就啃完整分布式，容易乱。伪分布式跑通后，再看多台服务器克隆和xsync分发命令，理解集群怎么批量管理。最后才是完整分布式启动部署，这块时长最长，也是最容易踩坑的环节，建议跟着视频一步步操作，别跳着看。

学完能独立做什么，资料怎么配合练习

学完能独立搭一个三节点以上的Hadoop集群，配置HDFS文件系统，跑通MapReduce任务，知道怎么往HDFS上传数据、怎么查看分片存储情况。简单说，公司要搞离线数仓，你能把存储和计算这层环境搭起来，不至于一问三不知。练习时，资料包里的视频是主线，但光看不练等于没学。建议准备三台虚拟机，跟着视频从克隆系统开始，手动配网络、改主机名、做免密登录，再用xsync把Hadoop包分发到各节点。启动分布式集群后，别只验证进程是否起来，一定要往HDFS里扔几个GB的文件，用命令查看数据落在哪个节点、副本数对不对。遇到报错先查日志，Hadoop的日志信息比报错提示本身详细得多，养成这个习惯，后面排查问题才不会抓瞎。


搭建数仓，开发案例

课程目录

*   01 搭建hadoop数仓环境/

  *   01 001-hadoop3简介.mp4 22:33

  *   02 002-配置jdk8环境变量.mp4 18:59

  *   03 003-配置hadoop3环境.mp4 10:34

  *   04 004-执行MapReduce官方案例.mp4 11:06

  *   05 005-hadoop3配置伪分布式.mp4 19:38

  *   06 006-hadoop3配置伪分布式2.mp4 22:57

  *   07 007-hadoop3-克隆3台系统.mp4 28:02

  *   08 008-hadoop3-多台服务器分发命令xsync.mp4 24:09

  *   09 009-hadoop3-搭建完整分布式.mp4 23:12

  *   10 010-hadoop3-启动部署完整分布式.mp4 45:27

  *   11 011-hdfs简介.mp4 08:51

*   02 存储系统HDFS/

  *   01 012-hdfs-shell命令.mp4 19:43

  *   02 013-hdfs-javaAPI.mp4 12:43

  *   03 014-hdfs-javaApi2.mp4 31:50

  *   04 015-配置eclipse的hadoop插件.mp4 06:12

  *   05 016-hdfs流操作.mp4 12:20

  *   06 017-hdfs多目录配置namenode.mp4 19:48

  *   07 018-hdfs-datanode新节点-黑白名单.mp4 23:49

  *   08 019-hdfs-datanode多目录配置.mp4 05:16

  *   09 020-hdfs-小文件存档操作.mp4 12:15

  *   10 021-hdfs-设置启用回收站.mp4 09:48

  *   11 022-hdfs-快照的管理.mp4 12:48

  *   12 022-hdfs-快照的管理_1.mp4 12:48

  *   13 023-hdfs-高可靠-配置zk.mp4 23:15

  *   14 024-hdfs-配置使用HA高可靠.mp4 38:24

  *   15 011-hdfs简介.mp4 09:07

*   03 MapReduce计算框架/

  *   01 025-MR-编写执行WordCount.mp4 40:23

  *   02 026-MR-打包Linux执行.mp4 19:04

  *   03 027-MR-自定义序列化-电话流量统计.mp4 30:34

  *   04 028-MR-KVTextInputFormat格式.mp4 35:19

  *   05 029-MR-NLineInputFormat格式.mp4 13:59

  *   06 030-MR-自定义InputFromat.mp4 24:49

  *   07 031-MR-自定义分区Partition.mp4 18:02

  *   08 032-MR-自定义排序-全排序.mp4 22:38

  *   09 033-MR-自定义排序-区内排序.mp4 16:24

  *   10 034-MR-combiner合并.mp4 05:47

  *   11 035-MR-自定义outputFormat.mp4 21:22

  *   12 036-MR-join多文件关联.mp4 22:16

  *   13 037-MR-mapjoin文件关联.mp4 19:03

  *   14 038-MR-数据清洗.mp4 11:52

  *   15 039-MR-数据清洗-复杂版本.mp4 07:56

  *   16 040-MR-总结.mp4 05:44

  *   17 041-MR-压缩-解压缩.mp4 30:53

*   04 hadoop+redis+springBoot网盘项目/

  *   01 042-网盘项目.mp4 01:23:44