飞豹客 · 课能看,资料也能带走
飞豹客体系课

Hadoop 系统入门+核心精讲

这门课讲的是 Hadoop 这套离线大数据处理体系,重点落在 HDFS、MapReduce、YARN 三个核心组件上,最后用一个电商项目把它们串起来。如果你所在团队已经有数据量上的压力,或者你准备转方向做数据开发、大数据运维,这份资料值得先花时间判断一下要不要学。 它解决的是哪类工作场景 现实里最常

单课价¥19.00新品 上架
会员价¥3.80开通会员,全站课程按会员价下载套餐详情
116 人关注 更新于 2026-09-19 永久有效
发货

网盘链接 · 支付成功后自动发货

保障

永久有效 · 链接失效免费补发

客服

每日 9:00-21:00 在线客服 联系客服

购买本课销量 0 · 永久有效
会员价 · 单课标价 ¥19.00

会员 A · 按档位折扣

永久¥7.604折
年¥9.505折
月¥11.406折
周¥13.307折

会员 B

VIP¥3.80低至
SVIP单买¥200 内可领

游客按标价购买,不享受上表折扣。

支付成功后自动发放网盘链接,链接失效可找客服免费补

正版保障 极速发货 售后无忧

这门课讲的是 Hadoop 这套离线大数据处理体系,重点落在 HDFS、MapReduce、YARN 三个核心组件上,最后用一个电商项目把它们串起来。如果你所在团队已经有数据量上的压力,或者你准备转方向做数据开发、大数据运维,这份资料值得先花时间判断一下要不要学。

它解决的是哪类工作场景

现实里最常见的触发点是:单机脚本或关系型数据库已经扛不住每天累积的日志和订单数据,需要把存储和计算拆到多台机器上。Hadoop 就是这套拆分方案的经典答案——文件怎么分布存、任务怎么分到多台机器跑、多任务之间怎么抢资源,这三个问题分别对应 HDFS、MapReduce 和 YARN。课程从大数据的基本概念讲起,但真正有价值的部分在后面几章:它把这三个组件各自的职责边界讲清楚,也交代了它们之间怎么配合。学完之后,你至少能看懂一份离线数据流程是怎么搭起来的,而不是只会背名词。

适合什么基础,不适合什么基础

资料本身是从零讲起的,所以不要求你之前碰过 Hadoop。但有两个前提最好先满足:一是能读懂基本的 Java 代码,MapReduce 的编程模型绕不开 Java;二是对 Linux 命令行不陌生,否则集群相关的操作会很吃力。如果你完全没有编程经验,直接上这门课会比较痛苦,建议先补 Java 基础和 SQL。另外要说明的是,这套内容偏经典离线计算,不涉及实时计算那套东西,如果你的岗位主要做实时链路,参考价值有限。

建议的看课顺序和练习方式

不建议按顺序一路看下去。可以这样安排:第一章的大数据概述快速过一遍,建立背景印象即可,不必逐节抠细节;然后把主要精力放在 HDFS 和 MapReduce 两章,这两块是理解整套体系的地基,看的时候一定要跟着动手,把示例代码在自己搭的环境里跑通,哪怕只是伪分布式;YARN 放在后面看,它更多是资源调度层面的理解,动手要求没那么高。最后的电商项目不要当复习看,它是检验前面三块能不能连起来用的关键,建议先自己试着拆解需求,再对照实现。练习环境上,本地伪分布式足够支撑大部分内容,不必一上来就折腾多节点集群,等核心概念稳了再考虑扩展。

整体判断:这是一份结构比较完整、偏经典的入门资料,适合想系统理解离线大数据处理原理的人。它的价值在于帮你把三个核心组件的分工和协作讲通,而不是让你学完就能直接上手某个具体工具链。如果你的目标是把 Hadoop 原理弄明白、能独立跑通一条离线处理流程,这份资料够用;如果你想要的是某个云厂商的现成大数据平台操作,那方向不太一样。

课程目录

课程目录90 条
  • (01:52) 1-4 从一个案例说起 (03:54) 1-5 什么是大数据以及大数据的4V特征 (08:30) 1-6 大数据带来的技术变革 (05:37) 1-7 大数据现存的模式 (02:29) 1-8 大数据的技术概念 (08:47) 1-9 大数据带来的挑战 (04:18) 1-
  • 10 如何对大数据进行存储和分析 (03:54) 1-
  • 11 大数据典型应用 (03:14) 1-
  • 12 【讨论题】谈谈你对大数据就业岗位的认知 第2章 初识Hadoop 2-1 课程目录 (02:48) 2-2 Hadoop概述 (14:21) 2-3 Hadoop核心组件之HDFS概述 (07:07) 2-4 Hadoop核心组件之MapReduce (05:02) 2-5 Hadoop核心组件之YARN (02:44) 2-6 Hadoop优势 (03:03) 2-7 Hadoop发展史 (06:06) 2-8 Hadoop生态圈 (06:32) 2-9 Hadoop发行版选型 (07:39) 2-
  • 10 OOTB环境的使用 (06:43) 第3章 分布式文件系统HDFS 3-1 HDFS概述 (08:45) 3-2 HDFS设计目标 (10:17) 3-3 HDFS架构详解 (15:36) 3-4 文件系统NameSpace详解 (03:14) 3-5 HDFS副本机制 (04:33) 3-6 本课程使用的Linux环境介绍 (14:13) 3-7 Hadoop部署前置介绍 (10:26) 3-8 JDK1.8部署详解 (06:32) 3-9 ssh无密码登陆部署详解 (07:42) 3-10 Hadoop安装目录详解及hadoop-env配置 (09:23) 3-
  • 11 HDFS格式化以及启动详解 (11:48) 3-
  • 12 HDFS常见文件之防火墙干扰 (03:53) 3-
  • 13 Hadoop停止集群以及如何单个进程启动 (03:48) 3-
  • 14 Hadoop命令行操作详解 (14:47) 3-
  • 15 深度剖析Hadoop文件的存储机制 (07:56) 3-
  • 16 HDFS API编程之开发环境搭建 (10:00) 3-
  • 17 HDFS API编程之第一个应用程序的开发 (08:57) 3-
  • 18 HDFS API编程之jUnit封装 (05:41) 3-
  • 19 HDFS API编程之查看HDFS文件内容 (02:04) 3-
  • 20 HDFS API编程之创建文件并写入内容 (02:19) 3-
  • 21 HDFS API编程之副本系数深度剖析 (05:25) 3-
  • 22 HDFS API编程之重命名 (02:01) 3-
  • 23 HDFS API编程之copyFromLocalFile (01:59) 3-
  • 24 HDFS API编程之带进度的上传大文件 (05:26) 3-
  • 25 HDFS API编程之下载文件 (01:44) 3-
  • 26 HDFS API编程之列出文件夹下的所有内容 (04:58) 3-
  • 27 HDFS API编程之递归列出文件夹下的所有文件 (04:03) 3-
  • 28 HDFS API编程之查看文件块信息 (04:29) 3-
  • 29 HDFS API编程之删除文件 (01:59) 3-
  • 30 HDFS项目实战之需求分析 (03:38) 3-
  • 31 HDFS项目实战之代码框架编写 (13:17) 3-
  • 32 HDFS项目实战之自定义上下文 (03:58) 3-
  • 33 HDFS项目实战之自定义处理类实现 (04:19) 3-
  • 34 HDFS项目实战之功能实现 (02:59) 3-
  • 35 HDFS项目实战之使用自定义配置文件重构代码 (10:26) 3-36 HDFS项目实战之使用反射创建自定义Mapper对象 (04:43) 3-
  • 37 HDFS项目实战之可插拔的业务逻辑处理 (02:06) 3-
  • 38 HDFS Replica Placement Policy (10:07) 3-
  • 39 HDFS写数据流程图解 (10:39) 3-
  • 40 HDFS读数据流程图解 (05:09) 3-
  • 41 HDFS Checkpoint详解 (14:36) 3-
  • 42 HDFS SaveMode (05:17) 第4章 分布式计算框架MapReduce 4-1 课程目录 (02:28) 4-2 MapReduce概述 (05:27) 4-3 MapReduce编程模型详解 (09:52) 4-4 MapReduce编程模型核心概念详解 (08:14) 4-5 词频统计之自定义Mapper实现 (12:13) 4-6 词频统计之自定义Reducer实现 (07:37) 4-7 词频统计之自定义Driver类实现 (17:15) 4-8 词频统计之本地方式运行 (02:29) 4-9 词频统计之通过Debug方式进一步了解偏移量以及重构代码 (06:43) 4-
  • 10 词频统计升级之Combiner操作 (12:55) 4-
  • 11 流量统计实战之需求 (06:48) 4-
  • 12 流量统计实战之自定义复杂数据类型 (04:22) 4-
  • 13 流量统计实战之自定义Mapper类 (04:22) 4-
  • 14 流量统计实战之自定义Reducer实现 (02:24) 4-
  • 15 流量统计实战之Driver开发 (06:56) 4-16 流量统计实战之代码重构及NullWritable的使用 (01:48) 4-
  • 17 流量统计实战升级之自定义Partitioner (15:08) 第5章 资源调度框架YARN 5-1 课程目录 (02:28) 5-2 YARN产生背景 (08:07) 5-3 YARN概述 (06:43) 5-4 YARN架构详解 (09:29) 5-5 YARN执行流程 (04:50) 5-6 YARN环境部署 (08:33) 5-7 提交example案例到YARN上运行 (09:33) 5-8 提交流量统计案例到YARN上运行 (10:27) 第6章 电商项目实战Hadoop实现 6-1 课程目录 (02:29) 6-2 用户行为日志概述 (10:58) 6-3 为什么要记录用户行为日志 (02:17) 6-4 日志内容介绍 (05:42) 6-5 用户行为日志分析的意义所在 (04:53) 6-6 电商常用术语 (03:58) 6-7 项目需求描述 (02:02) 6-8 数据处理流程及技术架构 (07:11) 6-9 浏览量统计功能实现 (11:25) 6-
  • 10 省份浏览量统计之IP库解析 (05:11) 6-
  • 11 省份浏览量统计之日志解析 (08:38) 6-
  • 12 省份浏览量统计之功能实现 (11:44) 6-
  • 13 页面浏览量统计之页面编号获取 (06:12) 6-
  • 14 页面浏览量统计之功能实现 (04:40) 6-
  • 15 数据处理过程中ETL的重要性 (04:20) 6-
  • 16 原始日志ETL操作 (09:22) 6-
  • 17 浏览量统计功能升级 (01:17) 6-
  • 18 省份浏览量统计功能升级 (03:51) 6-
  • 19 页面浏览量统计功能升级思路 (00:29) 6-
  • 20 打包到服务器上运行 (10:02) 6-
  • 21 项目扩展 (09:33) 第7章 数据仓库Hive 7-1 课程目录 (02:58) 7-2 Hive产生背景 (05:01) 7-3 Hive是什么 (05:51) 7-4 为什么要使用Hive (03:53) 7-5 Hive在Hadoop生态圈中的位置 (01:43) 7-6 Hive体系架构 (07:05) 7-7 Hive部署架构 (07:30) 7-8 Hive与RDBMS的区别 (02:42) 7-9 Hive部署 (08:08) 7-
  • 10 Hive快速入门 (06:58) 7-
  • 11 Hive DDL之数据库操作 (12:37) 7-
  • 12 Hive DDL之表操作 (09:25) 7-
  • 13 Hive DML之加载和导出数据 (09:15) 7-
  • 14 Hive QL基本统计 (03:08) 7-
  • 15 Hive QL之聚合函数 (02:25) 7-
  • 16 Hive QL之分组函数 (06:07) 7-
  • 17 Hive QL之join的使用 (03:39) 7-
  • 18 Hive QL执行计划 (03:47) 7-
  • 19 【讨论题】Hive高可用架构的思考 第8章 电商项目实战Hive实现 8-1 课程目录 (01:40) 8-2 外部表在Hive中的使用 (07:19) 8-3 track_info分区表的创建 (03:36) 8-4 将ETL的数据加载到Hive表 (11:03) 8-5 使用Hive完成统计分析功能 (09:55) 8-6 Hive实现项目的方便性体现 (04:51) 8-7 【讨论题】大数据处理过程中关于血缘关系的思考 第9章 Hadoop分布式集群搭建 9-1 课程目录 (01:35) 9-2 Hadoop集群规划 (04:39) 9-3 前置条件安装 (04:12) 9-4 JDK安装 (04:20) 9-5 Hadoop集群部署 (14:56) 9-6 提交作业到Hadoop集群上运行 (02:30) 9-7 课程总结 (05:29) 9-8 【讨论题】关于Hadoop高可用架构的思考 第10章 (彩蛋番外篇)Join在MapReduce中的实现 10-1 Join概述 (08:07) 10-2 ReduceJoin流程分析 (08:15) 10-3 ReduceJoin功能实现 (19:32) 10-4 MapJoin实现原理 (04:44) 10-5 MapJoin功能实现 (12:49) 第11章 (讨论群内直播内容分享)Hadoop小问题剖析 11-1 小文件问题 (04:13) 11-2 什么是小文件 (04:16) 11-3 小文件怎么产生的 (07:19) 11-4 小文件解决方案(上) (11:19) 11-5 小文件解决方案(下) (11:01) 11-6 Hadoop真的凉了吗 (07:30) 第12章 (讨论群内直播内容分享)Hadoop的特性在生产上的使用 12-1 文件归档及透明访问 (13:45) 12-2 distcp及scp (14:59) 12-3 回收站 (14:20) 第13章 (彩蛋番外篇)Hadoop3.x新特性及实操 13-1 课程目录 (04:46) 13-2 如何从官网获取Hadoop3.x新特性 (03:02) 13-3 Hadoop3.x新特性之JDK8 (02:14) 13-4 Hadoop3.x新特性之EC技术详解 (21:25) 13-5 Hadoop3.x新特性之其他 (13:38) 13-6 云服务器及大数据相关产品了解_1 (04:35) 13-7 如何快速选型并开通云主机 (13:26) 13-8 云主机配置修改 (05:21) 13-9 JDK部署 (04:27) 13-
  • 10 HDFS部署 (10:47) 13-
  • 11 免密码登陆配置 (03:45) 13-
  • 12 YARN部署及使用 (07:11) 13-13 Hadoop3.x端口问题分析 (06:04) 13-14 将项目升级运行到Hadoop3.x之上 (07:54) 13-
  • 15 云服务器停止及销毁 (03:19) 13-
  • 16 本章小结 (02:48) 13-
  • 17 【讨论题】谈谈你对Hadoop框架过时的看法 第14章 (彩蛋番外篇)压缩在大数据中的使用 14-1 课程目录 (03:06) 14-2 为什么要使用压缩 (05:20) 14-3 压缩的使用场景 (05:58) 14-4 压缩使用的注意事项- (05:02) 14-5 常见压缩格式- (01:56) 14-6 Codec详解 (05:42) 14-7 压缩编程实战 (11:16) 14-8 解压缩编程实战 (03:44) 14-9 压缩和解压缩在Hadoop源码中的体现 (03:08) 14-
  • 10 Hadoop整合压缩使用之代码设置 (07:16) 14-
  • 11 Hadoop整合压缩使用之配置文件设置 (03:00) 14-
  • 12 作业 (01:25) 14-
  • 13 本章小结 (02:02) 14-
  • 14 【讨论题】关于压缩的思考 第15章 (彩蛋番外篇)Hive必考的SQL功能及窗口函数 15-1 课程目录 (01:44) 15-2 行转列功能需求分析 (04:46) 15-3 行转列数据准备 (01:35) 15-4 行转列功能实现 (07:27) 15-5 列转行功能需求分析 (02:39) 15-6 列转行功能实现 (05:16) 15-7 累计问题之需求分析 (11:16) 15-8 累计问题之第一部分功能实现 (03:52) 15-9 累计问题之第二和第三个部分功能实现 (09:35) 15-
  • 10 累计问题之SQL调优 (06:42) 15-
  • 11 累计问题之窗口函数实现 (09:03) 15-
  • 12 引出窗口函数 (05:28) 15-
  • 13 窗口函数之求和及窗口如何划分 (13:14) 15-
  • 14 窗口函数之LEAD&LAG (06:34) 15-15 窗口函数之FIRST_VALUE&LAST_VALUE (02:19) 15-
  • 16 窗口函数之NTILE (04:15) 15-17 窗口函数之ROW_NUMBER&RANK&DENSE_RANK (05:39) 15-18 窗口函数之CUME_DIST&PERCENT_RANK (07:51) 15-
  • 19 窗口函数实战之准备工作 (03:04) 15-
  • 20 窗口函数实战之功能二实现 (03:03) 15-
  • 21 窗口函数实战之功能一实现 (07:42) 15-
  • 22 窗口函数实战之功能三实现 (01:16) 15-
  • 23 窗口函数实战之功能四实现 (01:33) 15-
  • 24 窗口函数实战之功能五实现 (01:37) 15-
  • 25 窗口函数实战之作业 (01:41) 第16章 (彩蛋番外篇)Hive核心调优 16-1 课程目录 (03:44) 16-2 Hive调优概述 (08:17) 16-3 调优之本地模式 (07:59) 16-4 调优之初识执行计划 (11:57) 16-5 调优之如何使用执行计划进行案例分析 (08:29) 16-6 调优之JVM重用 (05:16) 16-7 调优之并行执行 (06:48) 16-8 调优之抓取策略 (04:45) 16-9 调优之严格模式 (05:09) 16-
  • 10 调优总结 (07:59)