飞豹客 · 课能看,资料也能带走
飞豹客体系课

老汤大数据课程之Spark内核原理

这门课解决什么问题 Spark 内核原理是大数据开发岗区分“会写代码”和“能排查故障”的分水岭。日常工作中,很多写 Scala 或 SQL 的人能把作业跑通,但一遇到数据倾斜、频繁 GC、OOM 溢出、任务卡死,就只能盲目调参数。这门课针对的就是这类场景:它不教你怎么用算子,而是拆解作业提交后,底层

单课价¥39.00新品 上架
会员价¥7.80开通会员,全站课程按会员价下载套餐详情
0 人关注 更新于 2026-10-21 永久有效
发货

网盘链接 · 支付成功后自动发货

保障

永久有效 · 链接失效免费补发

客服

每日 9:00-21:00 在线客服 联系客服

购买本课销量 0 · 永久有效
会员价 · 单课标价 ¥39.00

会员 · 按档位

永久¥19.505折
年¥23.406折
月¥27.307折

游客按标价购买,不享受上表折扣。

支付成功后自动发放网盘链接,链接失效可找客服免费补

正版保障 极速发货 售后无忧

这门课解决什么问题

Spark 内核原理是大数据开发岗区分“会写代码”和“能排查故障”的分水岭。日常工作中,很多写 Scala 或 SQL 的人能把作业跑通,但一遇到数据倾斜、频繁 GC、OOM 溢出、任务卡死,就只能盲目调参数。这门课针对的就是这类场景:它不教你怎么用算子,而是拆解作业提交后,底层框架到底怎么分配内存、怎么序列化对象、怎么在 Executor 间传输数据。如果你正在做数仓或平台开发,经常被拉去救火排查性能瓶颈,这部分内容能帮你建立准确的判断依据。学完之后,面对资源分配报错或运行缓慢的作业,你能直接定位到是序列化开销过大,还是统一内存模型里执行内存与存储内存争抢所致,而不是停留在重启和增加资源这种粗放操作上。

适合什么基础与建议先看哪几块

这门资料不适合零基础。你需要提前掌握 RDD 常用算子,能独立运行过简单的本地或集群作业,了解 Driver 和 Executor 的基本分工。如果连提交脚本的参数都没手动配置过,直接看内核会非常吃力。对于符合基础要求的读者,建议先抓两个核心模块:序列化机制和内存管理。序列化部分重点对比 Java 自带方案与 Kryo 的差异,这直接决定了网络传输和落盘的数据体积。内存管理部分要分清静态模型与统一模型的区别,特别是 Task 级别的内存分配逻辑。这两块是后续排查数据倾斜和内存溢出的理论底座,先吃透它们,再去看其他调度和 Shuffle 细节会顺畅很多。

学完能独立做什么与资料怎么配合练习

看完这套资料,你应该能独立完成两件事:一是针对线上作业写出可落地的性能优化方案,比如根据内存模型计算出合理的 Executor 数量与堆内分配;二是遇到 OOM 或 GC 耗时过长时,能顺着内存分配链路找到是哪个 Task 或者哪个操作在过度占用资源。资料配合练习的方式很关键,不要只盯着视频看。建议在本地或测试集群准备一份千万级以上的测试数据,边看边跑作业。讲到序列化时,自己把序列化器切换成 Kryo,对比生成的文件大小和任务耗时;讲到内存模型时,故意把内存调小触发溢出,观察日志里的报错堆栈。把视频里的理论直接对应到你自己的运行日志上,这套资料才算用到位。

课程目录

课程目录28 集
  • 1-1 [课程答疑] 老汤大数据课程体系介绍 (06:21).mp4
  • 2-1 [序列化机制] 课程内容 (09:40).mp4
  • 2-2 [序列化机制] Java自带的序列化机制 (19:24).mp4
  • 2-3 [序列化机制] Kryo序列化机制 (15:59).mp4
  • 2-4 [序列化机制] Java Serializer对比Kryo Serializ (09:37).mp4
  • 2-5 [序列化机制] IO流的加解密 (06:41).mp4
  • 2-6 [序列化机制] IO流的解压缩 (02:53).mp4
  • 3-1 [内存管理] 课程内容 (14:28).mp4
  • 3-2 [内存管理] 静态内存模型 (10:26).mp4
  • 3-3 [内存管理] 统一内存模型 (11:26).mp4
  • 3-4 [内存管理] off_heap内存的管理 (07:58).mp4
  • 3-5 [内存管理] 每一个task需要内存的分配 (05:19).mp4
  • 3-6 [内存管理] 一个task中多个操作需要内存的分配 (06:38).mp4
  • 4-1 [存储管理] 课程内容 (08:41).mp4
  • 4-2 [存储管理] Block元数据信息 (12:21).mp4
  • 4-3 [存储管理] Block增查删流程 (09:13).mp4
  • 4-4 [存储管理] Disk存储特点 (08:28).mp4
  • 4-5 [存储管理] Memory存储特点 (05:20).mp4
  • 4-6 [存储管理] Block备份机制 (06:28).mp4
  • 4-7 [存储管理] Block数据传输 (03:00).mp4
  • 5-1 [shuffle 管理] 课程内容 (12:22).mp4
  • 5-2 [shuffle 管理] MapOutputTracker (07:25).mp4
  • 5-3 [shuffle 管理] HashShuffleWriter (07:45).mp4
  • 5-4 [shuffle 管理] SortShuffleWriter (04:30).mp4
  • 5-5 [shuffle 管理] UnsafeShuffleWriter (09:57).mp4
  • 5-6 [shuffle 管理] BypassMergeSortShuffleWriter (04:38).mp4
  • 5-7 [shuffle 管理] ShuffleReader (04:11).mp4
  • 5-8 [shuffle 管理] Shuffle+Memory+Storage manager (03:51).mp4