飞豹客 · 课能看,资料也能带走
飞豹客体系课

大数据平台性能调优、架构设计与故障汇总

这门课解决什么问题 做大数据平台运维或数据开发的人,平时最怕的不是写不出代码,而是任务跑着跑着突然卡死、节点掉线、内存溢出或者任务长时间挂起。这门课不教你从零搭建集群,而是直接切入生产环境里最容易出性能瓶颈和报错的环节,主要解决 Yarn 资源调度不合理、HDFS 读写卡顿、Kafka 消费堆积,以

单课价¥39.00新品 上架
会员价¥7.80开通会员,全站课程按会员价下载套餐详情
0 人关注 更新于 2026-10-21 永久有效
发货

网盘链接 · 支付成功后自动发货

保障

永久有效 · 链接失效免费补发

客服

每日 9:00-21:00 在线客服 联系客服

购买本课销量 0 · 永久有效
会员价 · 单课标价 ¥39.00

会员 · 按档位

永久¥19.505折
年¥23.406折
月¥27.307折

游客按标价购买,不享受上表折扣。

支付成功后自动发放网盘链接,链接失效可找客服免费补

正版保障 极速发货 售后无忧

这门课解决什么问题

做大数据平台运维或数据开发的人,平时最怕的不是写不出代码,而是任务跑着跑着突然卡死、节点掉线、内存溢出或者任务长时间挂起。这门课不教你从零搭建集群,而是直接切入生产环境里最容易出性能瓶颈和报错的环节,主要解决 Yarn 资源调度不合理、HDFS 读写卡顿、Kafka 消费堆积,以及 Hadoop 节点掉线和组件标记不健康等实际故障。如果你接手过一个已经跑起来的平台,但遇到任务排队、磁盘报警或 Namenode 异常时不知道从哪个参数查起,这门课就是帮你把这些零散的故障点梳理成一套排查思路,让你在出问题时能快速定位是资源分配不足、参数配置不当,还是节点硬件层面的故障。

适合什么基础与建议学习顺序

课程内容默认你已经具备基础的大数据组件认知,不适合完全没接触过 Hadoop 生态的新手。你需要大致清楚 Yarn 是做资源管理的、HDFS 是分布式文件系统、Kafka 负责消息队列,并且最好自己动手部署过测试集群。如果你只是听过名词但没实操过,建议先补一下基础操作再来看这门课,否则会听得吃力。在资料包的配合上,建议先集中看 Yarn 内存优化和参数调整那几节,因为资源调度是大部分任务卡顿的根源,把 Yarn 的内存和 CPU 分配策略弄明白,再去碰 HDFS 和 Kafka 的调优会更有方向感。看故障处理部分时,不要干看视频,最好对照着自己工作中的集群配置文件,把视频里提到的关键参数和排查命令记下来,遇到类似场景直接套用验证。

学完能独立做什么

  • 能根据集群实际资源量和任务并发情况,独立调整 Yarn 的内存分配比例和 CPU 调度参数,解决任务长时间排队或频繁因内存不足失败的问题。
  • 能处理 Hadoop 平台上的常见节点故障,比如安全地下线 DataNode、排查磁盘损坏导致的读写异常,以及应对 Namenode 故障和 Yarn 节点标记为不健康的情况。
  • 能针对 Kafka 消费滞后和吞吐量下降的情况,从生产端和消费端的配置参数入手做基础调优,而不是盲目重启服务。
  • 能结合操作系统的资源监控,判断大数据组件的异常到底是代码逻辑导致,还是底层磁盘或内存资源分配不合理导致的,减少盲目排查的时间。

课程目录

课程目录11 集
  • 1-1 [Yarn、HDFS、Kafka调优策略及性能瓶颈] yarn内存优化策略与配置 (19:46).mp4
  • 1-2 [Yarn、HDFS、Kafka调优策略及性能瓶颈] 通过具体案例介绍Yarn参数优化策略 (20:54).mp4
  • 1-3 [Yarn、HDFS、Kafka调优策略及性能瓶颈] Yarn的CPU优化策略以及HDFS内存资源优化 (21:40).mp4
  • 1-4 [Yarn、HDFS、Kafka调优策略及性能瓶颈] kafka常见的性能调优策略分析 (16:54).mp4
  • 2-1 [Hadoop平台常见故障汇总与操作系统调优] 如何下线datanode节点以及节点磁盘故障案例 (15:23).mp4
  • 2-2 [Hadoop平台常见故障汇总与操作系统调优] Namenode故障如何处理以及yarn标记不健康怎么办 (17:10).mp4
  • 2-3 [Hadoop平台常见故障汇总与操作系统调优] yarn任务不均衡新增datanode节点、hdfs坏块案例 (16:38).mp4
  • 2-4 [Hadoop平台常见故障汇总与操作系统调优] hadoop性能调优之操作系统性能优化 (17:38).mp4
  • 3-1 [大数据平台硬件选型、网络架构与节点规划] 大数据平台硬件选型经验 (15:06).mp4
  • 3-2 [大数据平台硬件选型、网络架构与节点规划] 大数据平台网络架构设计与机架感知 (14:54).mp4
  • 3-3 [大数据平台硬件选型、网络架构与节点规划] 大数据平台设计要点以及存储、计算节点规划 (14:40).mp4