人工精选11天通用引擎Spark生态圈学习教程
先弄清这门课解决什么工作场景 这份资料的主题是大数据计算框架 Spark。它解决的核心场景是：当你面对几千万甚至上亿条业务日志或气温记录时，单机数据库跑不动，你需要用分布式计算程序去完成数据清洗、标签生成和多重聚合。如果你目前的工作涉及数据开发、后端转大数据，或者经常处理离线批处理任务，Spark
会员 · 按档位
游客按标价购买，不享受上表折扣。
支付成功后自动发放网盘链接，链接失效可找客服免费补
先弄清这门课解决什么工作场景
这份资料的主题是大数据计算框架 Spark。它解决的核心场景是：当你面对几千万甚至上亿条业务日志或气温记录时，单机数据库跑不动，你需要用分布式计算程序去完成数据清洗、标签生成和多重聚合。如果你目前的工作涉及数据开发、后端转大数据，或者经常处理离线批处理任务，Spark 是绕不开的必学工具。但如果你只是做日常 Excel 报表或前端页面开发，这门课暂时和你的工作场景没有直接交集，建议先补齐 Linux 基础再考虑。
适合什么基础以及建议先看哪几块
这套资料不适合完全零基础的读者。它默认你已经掌握 Java 或 Scala 的基本语法，并且能在开发工具里独立跑通代码。资料里同时提供了 Scala 和 Java 两种语言的实现演示，如果你只懂 Java，可以先只看 Java 版本，但 Scala 在 Spark 领域的生态更好，后续做项目迟早要补。建议你拿到资料后，不要按顺序从头硬看，先跳到第一天的 Spark 介绍与安装测试，把本地环境跑通；接着直接看第二天的气温数据多重聚合和标签生成。这两块是实际业务中最常见的数据加工逻辑，看懂这两节，你就能大致明白 Spark 在实际工作里到底怎么用。
学完能独立做什么以及资料怎么配合练习
按这套资料的进度走完，你能独立完成几件事：在本地和集群模式下部署 Spark，用交互式命令行快速验证数据逻辑，编写并运行独立的数据处理程序，把一份原始数据集加工成带标签的统计结果。这些能力对应的是初级数据开发岗位的日常基础工作。资料怎么用很关键：视频里演示的气温数据和标签生成是现成案例，你不能只用眼睛看。正确的做法是，准备一份自己的数据文件，比如几万条网页访问日志，照着视频里的聚合逻辑，自己写一遍 Scala 或 Java 版本的代码。如果在本地跑通了，再尝试配置集群环境，把同样的程序提交到集群上执行。只有经历过从写代码到集群提交跑出结果的完整闭环，才算真正把这门课的资料吃透，而不是单纯看懂了视频。
体验Spark技术，加深对大数据的认识，为后续做项目夯实基础。
课程目录
* 01 Spark基础day01/
* 01 01.Spark介绍-安装-测试.mp4 16:30
* 02 02.Spark shell实现word count.mp4 26:04
* 03 03.Spark idea下编程scala版.mp4 24:19
* 04 04.Spark idea下编程java版.mp4 15:01
* 02 Spark基础day02/
* 01 01.气温数据多重聚合.mp4 25:46
* 02 02.气温数据多重聚合java实现.mp4 16:04
* 03 03.标签生成scala.mp4 48:12
* 04 04.标签生成Java.mp4 34:18
* 05 05.spark集群部署.mp4 22:56
* 06 06.spark集群上执行taggen.mp4 25:26
* 07 07.spark shell运行taggen.mp4 31:19
* 08 08.RDD考察.mp4 37:00
* 09 09.Spark核心组件.mp4 01:23:48
* 03 Spark RDD核心day03/
* 01 01.RDD详解.mp4 01:04:03
* 02 02.分布式调试工具.mp4 53:04
* 03 03.分布式调试工具考察wc执行分布.mp4 26:17
* 04 04.hello world执行过程分析2.mp4 38:55
* 05 05.sparkcontext考察.mp4 11:53
* 06 06.spark job三级调度框架.mp4 31:55
* 07 07.spark job提交流程1.mp4 23:55
* 08 08.创建ResultStage的步骤.mp4 01:23:49
* 09 09.ShuffleMapStage的算法实现.mp4 37:39
* 10 10.任务提交细节.mp4 05:19
* 04 Spark部署与资源分配day04/
* 01 01.提交任务过程分析.mp4 40:38
* 02 02.后台调度器创建-分区数计算.mp4 40:57
* 03 03.hadoopRDD分区数据的计算法则.mp4 12:47
* 04 04.spark集群资源分配.mp4 01:00:05
* 05 05.spark on yarn部署模式配置.mp4 01:05:31
* 06 06.yarnclient和yarncluster.mp4 42:29
* 07 07.task数-内核数-执行器个数测试.mp4 38:01
* 08 08.task数-内核数-执行器个数测试2.mp4 19:20
* 05 Spark部署与资源分配day05/
* 01 01.job提交协作图分析.mp4 56:44
* 02 02.job提交协作图分析2.mp4 02:22
* 03 03.mapPartition.mp4 23:56
* 04 04.join.mp4 18:55
* 05 05.cogroup.mp4 04:44
* 06 06.笛卡尔积.mp4 03:01
* 07 07.RDD 重新分区，排序.mp4 21:35
* 08 08.数据倾斜-重新设计key.mp4 10:06
* 09 09.数据倾斜-自定义随机分区.mp4 07:14
* 10 10.合成基本函数的使用.mp4 51:29
* 11 11.spark聚合函数总结.mp4 20:03
* 12 12.spark常用action.mp4 26:03
* 13 13.shuffle预热.mp4 27:08
* 06 Spark Shuffle核心day06/
* 01 01.shuffle管理器介绍.mp4 41:00
* 02 02.shuffleHandler注册原理分析.mp4 54:55
* 03 03.串行化写入过程分析.mp4 34:11
* 04 04.unsafeWriter写入分析-1.mp4 38:38
* 05 05.unsafeWriter写入分析-2.mp4 49:56
* 06 06.unsafeWriter写入分析-3.mp4 01:21:07
* 07 07.unsafeWriter总结.mp4 07:55
* 08 08.SortShuffleWriter.mp4 52:10
* 09 09.Shuffle总结.mp4 15:52
* 07 Spark内存管理和广播变量day07/
* 01 01.shuffle原理回顾.mp4 31:49
* 02 02.shuffle reader.mp4 35:50
* 03 03.driver程序考察.mp4 17:37
* 04 04.driver端程序考察.mp4 17:09
* 05 05.spark广播变量.mp4 44:28
* 06 06.spark广播变量原理实现-rdd与广播变量.mp4 16:27
* 07 07.Spark累加器.mp4 24:00
* 08 08.Spark自定义累加器.mp4 28:54
* 09 09.spark内存管理.mp4 53:52
* 10 10.spark内存管理2.mp4 06:26
* 11 11.Spark SQL集成hive.mp4 11:46
* 12 12.Spark SQL集成Scala编程.mp4 11:49
* 13 13.Spark SQL RDD转成DataFrame Sc.mp4 26:54
* 14 14.Spark SQL RDD转成DataFrame Ja.mp4 09:08
* 08 SparkML、SQL、Streaming核心day08/
* 01 01.公式回顾.mp4 28:33
* 02 02.随机种子-训练街切割.mp4 31:18
* 03 03.贝叶斯模型.mp4 11:34
* 04 04.训练模型-统计单词数.mp4 32:37
* 05 05.训练模型-统计指标数据.mp4 23:51
* 06 06.训练模型-预测.mp4 52:24
* 07 07.训练模型-预测评分计算.mp4 30:20
* 08 08.模型评估.mp4 27:19
* 09 09.SparkSQL初级.mp4 29:34
* 10 10.spark分布式查询引擎.mp4 18:05
* 11 11.spark分布式查询引擎-client访问.mp4 08:20
* 12 12.spark streaming体验.mp4 20:05
* 13 13.spark streaming体验java程序.mp4 13:05
* 14 14.spark streaming介绍.mp4 15:19
* 09 Spark Streaming核心day09/
* 01 1.block间隔设置-分区数考察.mp4 43:52
* 02 2.流计算限速(每秒最大速率设置).mp4 06:40
* 03 3.流计算限速-启用压后处理.mp4 05:23
* 04 4.流计算限速-windows操作.mp4 27:06
* 05 5.流计算限速-shuffle过程分解.mp4 22:48
* 06 6.updateStateByKey.mp4 15:26
* 07 7.实现windows的duration功能.mp4 22:55
* 08 8.避免小文件.mp4 22:14
* 09 9.StreamingSQL-检查点.mp4 30:55
* 10 10.StreamingSQL-disk持久化.mp4 42:54
* 11 11.Streaming kafka集成.mp4 31:06
* 12 12.Streaming kafka位置策略.mp4 47:44
* 13 13.kafka位置策略-PreferFixed.mp4 44:59
* 14 14.Streaming kafka2.mp4 19:44
* 10 Spark机器学习day10/
* 01 01.kafka流-kafkaRDD.mp4 31:40
* 02 02.kafka流-消费者策略.mp4 30:59
* 03 03.kafka流-偏移量提交问题.mp4 49:59
* 04 04.kafka流-精准一次消费.mp4 50:44
* 05 05.机器学习基础.mp4 22:42
* 06 06.机器学习-概念.mp4 14:11
* 07 07.线性回归.mp4 27:16
* 08 08.逻辑回归.mp4 17:09
* 09 09.贝叶斯.mp4 07:26
* 10 10.贝叶斯代码实现.mp4 28:17
* 11 11.贝叶斯代码分析.mp4 27:15
* 12 12.hashTF词频-垃圾邮件过滤.mp4 14:42
* 13 13.hashTF词频-垃圾邮件过滤java.mp4 05:58
* 14 14.kmean.mp4 27:20
* 15 15.tf-idf计算.mp4 31:13
* 16 16.pipeline.mp4 06:25
* 11 Spark实战+Redis核心day11/
* 01 1.矩阵分解模型实现推荐.mp4 28:32
* 02 2.pyspark使用centos.mp4 11:17
* 03 3.提交python脚本.mp4 15:49
* 04 4.python-hive-pyspark集成.mp4 12:23
* 05 5.idea-pyspark集成.mp4 37:05
* 06 6.hive-sparksession集成.mp4 17:22
* 07 7.redis安装与测试.mp4 05:10
* 08 8.redis linux下安装与测试.mp4 08:42
* 09 9.redis key基本操作.mp4 07:13
* 10 10.redis 数据库基本操作.mp4 08:03
* 11 11.redis hash类型.mp4 15:49
* 12 12.redis list类型.mp4 08:39
* 13 13.redis set类型.mp4 11:38
* 14 14.redis zset类型.mp4 16:33
* 15 15.redis api访问数据库.mp4 07:04
* 16 16.redis 图片读写.mp4 18:34
* 17 17.redis 配置文件.mp4 11:24
* 18 18.redis 发布订阅消息.mp4 06:55
* 19 19.redis 集群搭建-api访问.mp4 49:21
同类课程
和你正在看的这门一个方向
体系课AI大模型开发2026线下版V7.5
永久有效 · 网盘发货
体系课小滴课堂新一代AI全栈工程师-微服务AI智能面试对话平台
永久有效 · 网盘发货
体系课QCon 北京 2026 （4 月）
永久有效 · 网盘发货
体系课AI+全能测试工程师
永久有效 · 网盘发货
体系课小滴课堂中间件项目大课-自动化云测平台/Spingboot3.X/微服务/Kafka3.x
永久有效 · 网盘发货
体系课图灵工控一期：上位机+AI
永久有效 · 网盘发货