飞豹客 · 教程详情

- Hadoop 系统入门+核心精讲

会员可免费下载本篇

月会员、年会员、永久会员可按日额度下载（每篇扣 1 次）。

开通会员 · 按档位下载 →

体系课

0 人浏览发布 2026-10-17更新 2026-10-17

这门课解决什么场景，值不值得入坑

Hadoop 早已不是初出茅庐的新概念，但在当前的大数据生态里，它依然是分布式存储与计算最坚实的基石。很多开发者在面对海量日志处理、离线数据仓库搭建或集群运维需求时，往往只会被动调用框架接口，却对底层原理一知半解。一旦遇到性能瓶颈或数据倾斜问题，便无从下手排查。这门课程的核心价值，在于帮你打通从「会用 API」到「懂底层原理」的最后一公里。它不追求追逐最新的 Spark 或 Flink 热点，而是回归 Hadoop 体系，重点讲解 HDFS 的块管理机制、NameNode 的高可用架构、MapReduce 的 shuffle 过程以及 YARN 的资源调度策略。对于想要构建稳固大数据底座、准备进阶云原生数据栈，或者需要在传统企业级 Hadoop 集群中承担开发运维职责的同学来说，这是一门必修的基础课。学完它，你不再只是业务的执行者，而是能独立设计、部署和优化大数据平台的工程师。

适合什么基础，建议先看哪几块

本课程面向有一定 Java 编程基础，且对 Linux 命令行环境操作熟练的初学者及进阶者。如果你从未写过 Java 代码，或者对分布式系统的基本概念（如节点、副本、主从架构）感到陌生，建议先补齐前置知识，否则跟课时会比较吃力。课程资料结构清晰，建议按以下顺序切入：首先集中攻克 HDFS 相关章节，这是理解一切后续模块的前提，务必搞清楚文件切块、副本放置策略及读写流程；其次是 MapReduce 编程模型，重点理解 Job 提交、任务调度及并行计算的核心思想，这是 Hadoop 的灵魂；最后再过渡到 YARN 资源管理和 Hive 数据仓库的搭建与应用。对于老课部分，需特别注意其中可能涉及的版本差异，结合实际生产环境常用的 Hadoop 2.x 或 3.x 特性进行对照学习，避免刻舟求剑。不要试图一口气看完所有视频，应配合资料包中的核心配置文件和源码，边看边记笔记，梳理出技术脉络。

学完能独立做什么，资料怎么配合练习

完成课程学习并消化相关资料后，你应该能够独立在单机或伪分布式环境下搭建 Hadoop 集群，并能排查常见的启动失败、端口冲突等基础故障。更重要的是，你将具备编写自定义 MapReduce 程序处理实际业务数据的能力，比如日志解析、数据去重、词频统计等经典场景，并能基于 YARN 进行简单的资源队列规划。为了达到这一目标，资料包是你不可或缺的练习伙伴。请勿仅停留在观看视频层面，务必动手复现课程中的环境部署步骤，尝试修改 HDFS 的副本数、调整 YARN 的内存参数，观察集群行为的变化。建议在学习完每个核心模块后，利用资料中提供的示例数据，在本地集群上独立运行一遍 MapReduce Job，并尝试解读作业运行日志中的关键信息。这种「理论 + 手动实操 + 日志分析」的组合，是将知识转化为职场硬技能的最有效路径。只有亲手踩过坑，才能真正理解 Hadoop 的设计哲学，从而在未来的工作中从容应对更复杂的挑战。

mksz301 - Hadoop 系统入门+核心精讲

本课程隶属会员库 · MK实战课（一部分是老课） / 课程盒子3-mksz300至399，完整课程目录与配套资料如下。

课程目录

第1章 大数据概述(微信-rmshou-收集整理)/
1-1 课程导学(微信-rmshou-收集整理).mp4
1-10 大数据典型应用(微信-rmshou-收集整理).mp4
1-2 课程目录(微信-rmshou-收集整理).mp4
1-3 从一个案例说起(微信-rmshou-收集整理).mp4
1-4 什么是大数据以及大数据的4V特征(微信-rmshou-收集整理).mp4
1-5 大数据带来的技术变革(微信-rmshou-收集整理).mp4
1-6 大数据现存的模式(微信-rmshou-收集整理).mp4
1-7 大数据的技术概念(微信-rmshou-收集整理).mp4
1-8 大数据带来的挑战(微信-rmshou-收集整理).mp4
1-9 如何对大数据进行存储和分析(微信-rmshou-收集整理).mp4
第2章 初识Hadoop(微信-rmshou-收集整理)/
2-1 课程目录(微信-rmshou-收集整理).mp4
2-10 OOTB环境的使用(微信-rmshou-收集整理).mp4
2-2 Hadoop概述(微信-rmshou-收集整理).mp4
2-3 Hadoop核心组件之HDFS概述(微信-rmshou-收集整理).mp4
2-4 Hadoop核心组件之MapReduce(微信-rmshou-收集整理).mp4
2-5 Hadoop核心组件之YARN(微信-rmshou-收集整理).mp4
2-6 Hadoop优势(微信-rmshou-收集整理).mp4
2-7 Hadoop发展史(微信-rmshou-收集整理).mp4
2-8 Hadoop生态圈(微信-rmshou-收集整理).mp4
2-9 Hadoop发行版选型(微信-rmshou-收集整理).mp4
第3章 分布式文件系统HDFS(微信-rmshou-收集整理)/
3-1 HDFS概述(微信-rmshou-收集整理) (2).mp4
3-10 Hadoop安装目录详解及hadoop-env配置(微信-rmshou-收集整理).mp4
3-11 HDFS格式化以及启动详解(微信-rmshou-收集整理).mp4
3-12 HDFS常见文件之防火墙干扰(微信-rmshou-收集整理).mp4
3-13 Hadoop停止集群以及如何单个进程启动(微信-rmshou-收集整理).mp4
3-14 Hadoop命令行操作详解(微信-rmshou-收集整理).mp4
3-15 深度剖析Hadoop文件的存储机制(微信-rmshou-收集整理).mp4
3-16 HDFS API编程之开发环境搭建(微信-rmshou-收集整理).mp4
3-17 HDFS API编程之第一个应用程序的开发(微信-rmshou-收集整理).mp4
3-18 HDFS API编程之jUnit封装(微信-rmshou-收集整理).mp4
3-19 HDFS API编程之查看HDFS文件内容(微信-rmshou-收集整理).mp4
3-2 HDFS设计目标(微信-rmshou-收集整理) (2).mp4
3-20 HDFS API编程之创建文件并写入内容(微信-rmshou-收集整理).mp4
3-21 HDFS API编程之副本系数深度剖析(微信-rmshou-收集整理).mp4
3-22 HDFS API编程之重命名(微信-rmshou-收集整理).mp4
3-23 HDFS API编程之copyFromLocalFile(微信-rmshou-收集整理).mp4
3-24 HDFS API编程之带进度的上传大文件(微信-rmshou-收集整理).mp4
3-25 HDFS API编程之下载文件(微信-rmshou-收集整理).mp4
3-26 HDFS API编程之列出文件夹下的所有内容(微信-rmshou-收集整理).mp4
3-27 HDFS API编程之递归列出文件夹下的所有文件(微信-rmshou-收集整理).mp4
3-28 HDFS API编程之查看文件块信息(微信-rmshou-收集整理).mp4
3-29 HDFS API编程之删除文件(微信-rmshou-收集整理).mp4
3-3 HDFS架构详解(微信-rmshou-收集整理) (2).mp4
3-30 HDFS项目实战之需求分析(微信-rmshou-收集整理).mp4
3-31 HDFS项目实战之代码框架编写(微信-rmshou-收集整理).mp4
3-32 HDFS项目实战之自定义上下文(微信-rmshou-收集整理).mp4
3-33 HDFS项目实战之自定义处理类实现(微信-rmshou-收集整理).mp4
3-34 HDFS项目实战之功能实现(微信-rmshou-收集整理).mp4
3-35 HDFS项目实战之使用自定义配置文件重构代码(微信-rmshou-收集整理).mp4
3-36 HDFS项目实战之使用反射创建自定义Mapper对象(微信-rmshou-收集整理).mp4
3-37 HDFS项目实战之可插拔的业务逻辑处理(微信-rmshou-收集整理).mp4
3-38 HDFS Replica Placement Policy(微信-rmshou-收集整理).mp4
3-39 HDFS写数据流程图解(微信-rmshou-收集整理).mp4
3-4 文件系统NameSpace详解(微信-rmshou-收集整理) (2).mp4
3-40 HDFS读数据流程图解(微信-rmshou-收集整理).mp4
3-41 HDFS Checkpoint详解(微信-rmshou-收集整理).mp4
3-42 HDFS SaveMode(微信-rmshou-收集整理).mp4
3-5 HDFS副本机制(微信-rmshou-收集整理) (2).mp4
3-6 本课程使用的Linux环境介绍(微信-rmshou-收集整理) (2).mp4
3-7 Hadoop部署前置介绍(微信-rmshou-收集整理) (2).mp4
3-7 Hadoop部署前置介绍(微信-rmshou-收集整理).mp4
3-8 JDK1.8部署详解(微信-rmshou-收集整理) (2).mp4
3-8 JDK1.8部署详解(微信-rmshou-收集整理).mp4
3-9 ssh无密码登陆部署详解(微信-rmshou-收集整理).mp4
第4章 分布式计算框架MapReduce(微信-rmshou-收集整理)/
4-1 课程目录(微信-rmshou-收集整理).mp4
4-10 词频统计升级之Combiner操作(微信-rmshou-收集整理).mp4
4-11 流量统计实战之需求(微信-rmshou-收集整理).mp4
4-12 流量统计实战之自定义复杂数据类型(微信-rmshou-收集整理).mp4
4-13 流量统计实战之自定义Mapper类(微信-rmshou-收集整理).mp4
4-14 流量统计实战之自定义Reducer实现(微信-rmshou-收集整理).mp4
4-15 流量统计实战之Driver开发(微信-rmshou-收集整理).mp4
4-16 流量统计实战之代码重构及NullWritable的使用(微信-rmshou-收集整理).mp4
4-17 流量统计实战升级之自定义Partitioner(微信-rmshou-收集整理).mp4
4-2 MapReduce概述(微信-rmshou-收集整理).mp4
4-3 MapReduce编程模型详解(微信-rmshou-收集整理).mp4
4-4 MapReduce编程模型核心概念详解(微信-rmshou-收集整理).mp4
4-5 词频统计之自定义Mapper实现(微信-rmshou-收集整理).mp4
4-6 词频统计之自定义Reducer实现(微信-rmshou-收集整理).mp4
4-7 词频统计之自定义Driver类实现(微信-rmshou-收集整理).mp4
4-8 词频统计之本地方式运行(微信-rmshou-收集整理).mp4
4-9 词频统计之通过Debug方式进一步了解偏移量以及重构代码(微信-rmshou-收集整理).mp4
同类型课程.jpg
第5章 资源调度框架YARN(微信-rmshou-收集整理)/
5-1 课程目录(微信-rmshou-收集整理).mp4
5-2 YARN产生背景(微信-rmshou-收集整理).mp4
5-3 YARN概述(微信-rmshou-收集整理).mp4
5-4 YARN架构详解(微信-rmshou-收集整理).mp4
5-5 YARN执行流程(微信-rmshou-收集整理).mp4
5-6 YARN环境部署(微信-rmshou-收集整理).mp4
5-7 提交example案例到YARN上运行(微信-rmshou-收集整理).mp4
5-8 提交流量统计案例到YARN上运行(微信-rmshou-收集整理).mp4
第6章 电商项目实战Hadoop实现(微信-rmshou-收集整理)/
6-1 课程目录(微信-rmshou-收集整理) (2).mp4
6-10 省份浏览量统计之IP库解析(微信-rmshou-收集整理).mp4
6-11 省份浏览量统计之日志解析(微信-rmshou-收集整理).mp4
6-12 省份浏览量统计之功能实现(微信-rmshou-收集整理).mp4
6-13 页面浏览量统计之页面编号获取(微信-rmshou-收集整理).mp4
6-14 页面浏览量统计之功能实现(微信-rmshou-收集整理).mp4
6-15 数据处理过程中ETL的重要性(微信-rmshou-收集整理).mp4
6-16 原始日志ETL操作(微信-rmshou-收集整理).mp4
6-17 浏览量统计功能升级(微信-rmshou-收集整理).mp4
6-18 省份浏览量统计功能升级(微信-rmshou-收集整理).mp4
6-19 页面浏览量统计功能升级思路(微信-rmshou-收集整理).mp4
6-2 用户行为日志概述(微信-rmshou-收集整理) (2).mp4
6-20 打包到服务器上运行(微信-rmshou-收集整理).mp4
6-21 项目扩展(微信-rmshou-收集整理).mp4
6-3 为什么要记录用户行为日志(微信-rmshou-收集整理) (2).mp4
6-4 日志内容介绍(微信-rmshou-收集整理) (2).mp4
6-5 用户行为日志分析的意义所在(微信-rmshou-收集整理) (2).mp4
6-6 电商常用术语(微信-rmshou-收集整理) (2).mp4
6-7 项目需求描述(微信-rmshou-收集整理).mp4
6-8 数据处理流程及技术架构(微信-rmshou-收集整理).mp4
6-9 浏览量统计功能实现(微信-rmshou-收集整理).mp4
第7章 数据仓库Hive(微信-rmshou-收集整理)/
7-1 课程目录(微信-rmshou-收集整理).mp4
7-10 Hive快速入门(微信-rmshou-收集整理).mp4
7-11 Hive DDL之数据库操作(微信-rmshou-收集整理).mp4
7-12 Hive DDL之表操作(微信-rmshou-收集整理).mp4
7-13 Hive DML之加载和导出数据(微信-rmshou-收集整理).mp4
7-14 Hive QL基本统计(微信-rmshou-收集整理).mp4
7-15 Hive QL之聚合函数(微信-rmshou-收集整理).mp4
7-16 Hive QL之分组函数(微信-rmshou-收集整理).mp4
7-17 Hive QL之join的使用(微信-rmshou-收集整理).mp4
7-18 Hive QL执行计划(微信-rmshou-收集整理).mp4
7-2 Hive产生背景(微信-rmshou-收集整理).mp4
7-3 Hive是什么(微信-rmshou-收集整理).mp4
7-4 为什么要使用Hive(微信-rmshou-收集整理).mp4
7-5 Hive在Hadoop生态圈中的位置(微信-rmshou-收集整理).mp4
7-6 Hive体系架构(微信-rmshou-收集整理).mp4
7-7 Hive部署架构(微信-rmshou-收集整理).mp4
7-8 Hive与RDBMS的区别(微信-rmshou-收集整理).mp4
7-9 Hive部署(微信-rmshou-收集整理).mp4
第8章 电商项目实战Hive实现(微信-rmshou-收集整理)/
8-1 课程目录(微信-rmshou-收集整理).mp4
8-2 外部表在Hive中的使用(微信-rmshou-收集整理).mp4
8-3 track_info分区表的创建(微信-rmshou-收集整理).mp4
8-4 将ETL的数据加载到Hive表(微信-rmshou-收集整理).mp4
8-5 使用Hive完成统计分析功能(微信-rmshou-收集整理).mp4
8-6 Hive实现项目的方便性体现(微信-rmshou-收集整理).mp4
第9章 Hadoop分布式集群搭建(微信-rmshou-收集整理)/
9-1 课程目录(微信-rmshou-收集整理) (2).mp4
9-2 Hadoop集群规划(微信-rmshou-收集整理) (2).mp4
9-3 前置条件安装(微信-rmshou-收集整理) (2).mp4
9-4 JDK安装(微信-rmshou-收集整理) (2).mp4
9-5 Hadoop集群部署(微信-rmshou-收集整理) (2).mp4
9-6 提交作业到Hadoop集群上运行(微信-rmshou-收集整理) (2).mp4
9-7 课程总结(微信-rmshou-收集整理).mp4

会员可免费下载本篇

查看价格与购买