先想清楚：这门课解决什么问题，值不值得学
这份资料围绕 Spark 在 IDEA 开发环境下的实际操作展开，解决的是大数据处理中最常见的两类工程问题：一是怎么在本地把 Spark 跑通，写出能运行的计算逻辑；二是怎么把单机跑通的代码提交到集群上执行，完成企业级的数据聚合与标签生成。它不是理论科普，而是直接从安装测试、WordCount 入手，再过渡到气温数据多重聚合、标签生成这类具体的数据处理场景，最后落到集群部署和任务提交。如果你的工作是处理结构化数据的批量计算，或者需要向数据工程师方向转岗，Spark 是绕不开的计算框架，这门课的务实之处在于它把开发环境和集群部署串成了一条线，没有停留在 API 罗列。
适合什么基础，建议先看哪几块
这份资料适合有一定编程基础、但没真正写过分布式计算任务的人。具体来说，你需要能看懂基本的 Scala 或 Java 语法，了解集合操作，但不要求有 Hadoop 运维经验。资料里 Scala 和 Java 两种实现都有覆盖，如果你两边都不熟，建议先从 Scala 版本入手，因为 Spark 原生 API 对 Scala 更友好，代码量也更短，能帮你更快理解算子逻辑。建议的观看顺序是：先跟着第一天的安装测试和 Shell 交互把环境跑通，确认本地能执行 WordCount；然后直接跳到气温数据多重聚合，这部分是理解 Spark 分区、聚合机制的关键；标签生成那几节内容较长，适合在你能独立写简单聚合之后再看，因为它涉及更复杂的字段拆分和转换逻辑。集群部署部分可以最后看，也可以和本地编程交叉着看，理解单机和集群的差异。
学完能独立做什么，资料怎么配合练习
学完之后，你应该能独立完成这几件事：在 IDEA 中搭建 Spark 项目、用 RDD 或 DataFrame API 写数据处理代码、把本地测试通过的任务打包提交到 Spark 集群运行。资料里的气温聚合和标签生成不是随便选的例子，它们对应的是企业里常见的统计报表和用户画像场景。练习方式上，建议不要只跟着视频敲一遍就过，而是换一份数据集自己做同样的聚合操作，比如把气温数据换成销售记录，把标签生成换成商品分类打标。如果能自己换数据、换字段还跑得通，说明你真正掌握了算子的使用逻辑，而不是背下了视频里的代码。这份资料的篇幅不长，但每个模块都对应一个可验证的产出，适合边看边做，不建议快速刷完再回头补练。
快速学习IDEA下Spark技术，能熟练使用和操作，胜任企业级的开发。
课程目录
* 01 大数据之Spark第一天/
* 01 01.spark介绍-安装-测试.mp4 16:30
* 02 02.spark shell实现word count.mp4 26:04
* 03 03.spark idea下编程scala版.mp4 24:19
* 04 04.spark idea下编程java版.mp4 15:01
* 02 大数据之Spark第二天/
* 01 01.气温数据多重聚合.mp4 25:46
* 02 02.气温数据多重聚合java实现.mp4 16:04
* 03 03.标签生成scala.mp4 48:12
* 04 04.标签生成Java.mp4 34:18
* 05 05.spark集群部署.mp4 22:56
* 06 06.spark集群上执行taggen.mp4 25:26
* 07 07.spark shell运行taggen.mp4 31:19
* 08 08.RDD考察.mp4 37:00
* 09 09.Spark核心组件.mp4 01:23:48
* 03 大数据之Spark第三天/
* 01 01.RDD详解-groupByKey-reduceByKe.mp4 01:04:03
* 02 02.分布式调试工具.mp4 53:04
* 03 03.分布式调试工具考察wc执行分布.mp4 26:17
* 04 04.hello world执行过程分析2.mp4 38:55
* 05 05.sparkcontext考察.mp4 11:53
* 06 06.spark job三级调度框架-DagSchedule.mp4 31:55
* 07 07.spark job提交流程1.mp4 23:55
* 08 08.创建ResultStage的步骤.mp4 01:23:49
* 09 09.ShuffleMapStage的算法实现.mp4 37:39
* 10 10.任务提交细节.mp4 05:19
* 04 大数据之Spark第四天/
* 01 01.提交任务过程分析.mp4 40:38
* 02 02.后台调度器创建-分区数计算.mp4 40:57
* 03 03.hadoopRDD分区数据的计算法则.mp4 12:47
* 04 04.spark集群资源分配.mp4 01:00:05
* 05 05.spark on yarn部署模式配置.mp4 01:05:31
* 06 06.yarn client-yarn cluster区别.mp4 42:29
* 07 07.task数-内核数-执行器个数测试.mp4 38:01
* 08 08.task数-内核数-执行器个数测试2.mp4 19:20
* 05 大数据之Spark第五天/
* 01 01.job提交协作图分析.mp4 56:44
* 02 02.job提交协作图分析2.mp4 02:22
* 03 03.mapPartition.mp4 23:56
* 04 04.join.mp4 18:55
* 05 05.cogroup.mp4 04:44
* 06 06.笛卡尔积.mp4 03:01
* 07 07.repartitionAndSortWithinPar.mp4 21:35
* 08 08.数据倾斜-重新设计key.mp4 10:06
* 09 09.数据倾斜-自定义随机分区.mp4 07:14
* 10 10.合成基本函数的使用.mp4 51:29
* 11 11.spark聚合函数总结.mp4 20:03
* 12 12.spark常用action.mp4 26:03
* 13 13.shuffle预热.mp4 27:08
* 06 大数据之Spark第六天/
* 01 01.shuffle管理器介绍.mp4 41:00
* 02 02.shuffleHandler注册原理分析.mp4 54:55
* 03 03.BypassShuffleWriter写入过程分析.mp4 34:11
* 04 04.unsafeWriter写入分析-1.mp4 38:38
* 05 05.unsafeWriter写入分析-2.mp4 49:56
* 06 06.unsafeWriter写入分析-3.mp4 01:21:07
* 07 07.unsafeWriter总结.mp4 07:55
* 08 08.SortShuffleWriter.mp4 52:10
* 09 09.Shuffle总结.mp4 15:52
* 07 大数据之Spark第七天/
* 01 01.shuffle原理回顾.mp4 31:49
* 02 02.shuffle reader.mp4 35:50
* 03 03.driver程序考察.mp4 17:37
* 04 04.driver端程序考察.mp4 17:09
* 05 05.spark广播变量.mp4 44:28
* 06 06.spark广播变量原理实现-rdd与广播变量.mp4 16:27
* 07 07.Spark累加器.mp4 24:00
* 08 08.Spark自定义累加器.mp4 28:54
* 09 09.spark内存管理.mp4 53:52
* 10 10.spark内存管理2.mp4 06:26
* 11 11.Spark SQL集成hive.mp4 11:46
* 12 12.Spark SQL集成Scala编程.mp4 11:49
* 13 13.Spark SQL RDD转成DataFrame Sc.mp4 26:54
* 14 14.Spark SQL RDD转成DataFrame Ja.mp4 09:08
* 08 大数据之Spark第八天/
* 01 01.公式回顾.mp4 28:33
* 02 02.随机种子-训练街切割.mp4 31:18
* 03 03.贝叶斯模型.mp4 11:34
* 04 04.训练模型-统计单词数.mp4 32:37
* 05 05.训练模型-统计指标数据.mp4 23:51
* 06 06.训练模型-预测.mp4 52:24
* 07 07.训练模型-预测评分计算.mp4 30:20
* 08 08.模型评估.mp4 27:19
* 09 09.spark sql-json-parquet-jdbc.mp4 29:34
* 10 10.spark分布式查询引擎.mp4 18:05
* 11 11.spark分布式查询引擎-client访问.mp4 08:20
* 12 12.spark streaming体验.mp4 20:05
* 13 13.spark streaming体验java程序.mp4 13:05
* 14 14.spark streaming介绍.mp4 15:19
* 09 大数据之Spark第九天/
* 01 1.block间隔设置-分区数考察.mp4 43:52
* 02 2.流计算限速(每秒最大速率设置).mp4 06:40
* 03 3.流计算限速-启用压后处理.mp4 05:23
* 04 4.流计算限速-windows操作.mp4 27:06
* 05 5.流计算限速-windows shuffle过程分解.mp4 22:48
* 06 6.updateStateByKey.mp4 15:26
* 07 7.updateStateByKey实现windows的du.mp4 22:55
* 08 8.避免小文件.mp4 22:14
* 09 9.StreamingSQL-检查点.mp4 30:55
* 10 10.StreamingSQL-disk持久化.mp4 42:54
* 11 11.Streaming kafka集成.mp4 31:06
* 12 12.Streaming kafka位置策略.mp4 47:44
* 13 13.Streaming kafka位置策略-PreferF.mp4 44:59
* 14 14.Streaming kafka2.mp4 19:44
* 10 大数据之Spark第十天/
* 01 01.kafka流-kafkaRDD-消费者缓存-结构分析.mp4 31:40
* 02 02.kafka流-消费者策略.mp4 30:59
* 03 03.kafka流-偏移量提交问题.mp4 49:59
* 04 04.kafka流-精准一次消费.mp4 50:44
* 05 05.机器学习基础.mp4 22:42
* 06 06.机器学习-概念.mp4 14:11
* 07 07.线性回归.mp4 27:16
* 08 08.逻辑回归.mp4 17:09
* 09 09.贝叶斯.mp4 07:26
* 10 10.贝叶斯代码实现.mp4 28:17
* 11 11.贝叶斯代码分析.mp4 27:15
* 12 12.hashTF词频-垃圾邮件过滤.mp4 14:42
* 13 13.hashTF词频-垃圾邮件过滤java.mp4 05:58
* 14 14.kmean.mp4 27:20
* 15 15.tf-idf计算.mp4 31:13
* 16 16.pipeline.mp4 06:25
* 11 大数据之Spark第十一天/
* 01 1.矩阵分解模型实现推荐.mp4 28:32
* 02 2.pyspark使用centos.mp4 11:17
* 03 3.centos使用sparksubmit提交python脚.mp4 15:49
* 04 4.windows-spark-python-hive-py.mp4 12:23
* 05 5.win7-idea-pyspark集成.mp4 37:05
* 06 6.win7-spark-idea-hive-sparkse.mp4 17:22
* 07 7.redis安装与测试.mp4 05:10
* 08 8.redis linux下安装与测试.mp4 08:42
* 09 9.redis key基本操作.mp4 07:13
* 10 10.redis 数据库基本操作.mp4 08:03
* 11 11.redis hash类型.mp4 15:49
* 12 12.redis list类型.mp4 08:39
* 13 13.redis set类型.mp4 11:38
* 14 14.redis zset类型.mp4 16:33
* 15 15.redis api访问数据库.mp4 07:04
* 16 16.redis 图片读写.mp4 18:34
* 17 17.redis 配置文件.mp4 11:24
* 18 18.redis 发布订阅消息.mp4 06:55
* 19 19.redis 集群搭建-api访问.mp4 49:21
