2024年Spark教程（Java版）：后端开发者的必备技能

一、这门课程解决什么问题

你是否经常遇到如下工作难题：
- 需要处理大规模的数据，但传统方法效率低下？
- 数据处理速度慢，影响业务效率？
- 需要快速构建复杂的数据分析模型，但缺乏相关技能？
- 对Spark这种分布式计算框架感到陌生，不知道如何应用？

本课程专为后端开发者设计，旨在帮助你系统地掌握Spark的核心概念和实用技巧，解决上述问题，提升数据处理能力和工作效率。

二、适合什么基础

- 具备基本编程知识的开发者（Java或其他语言）。
- 对分布式计算有一定了解，但对Spark感兴趣的初学者。
- 希望快速掌握Spark，应用于实际项目中的开发者。

三、建议先看哪几块

1. **Spark基础概念**：了解Spark的分布式架构、计算模型和基本操作，为后续学习打下基础。
2. **Spark RDD**：学习如何使用RDD进行数据处理，这是Spark的核心组件。
3. **Spark数据结构与操作**：掌握常见的数据结构以及如何进行操作，提高数据处理效率。

四、学完能独立做什么

- 独立使用Spark进行数据处理和分析。
- 根据业务需求，设计并实现Spark应用程序。
- 优化Spark应用程序的性能，提升数据处理速度。
- 应用Spark解决实际问题，为团队贡献价值。

五、资料怎么配合练习

1. **理论学习**：通过课程视频和文档，系统学习Spark的各个知识点。
2. **实践操作**：利用课程提供的代码示例，进行实际操作练习，加深理解。
3. **项目实践**：结合实际项目，应用所学知识，提升技能。

结语

Spark作为强大的分布式计算框架，正在越来越多地应用于后端开发中。通过本课程的学习，你将能够掌握Spark的核心技能，提升数据处理能力，为你的职业生涯加分。别犹豫了，现在就开始学习吧！

课程目录

001.Spark-教程简介.mp4
 002.Spark-文件结构-介绍.mp4
 003.Spark-基础概念-介绍-分布式.mp4
 004.Spark-基础概念-介绍-计算.mp4
 005.Spark-基础概念-介绍-分布式基础架构.mp4
 006.Spark-基础概念-介绍-框架.mp4
 007.Spark-基础概念-介绍-Spark和MR的关系.mp4
 008.Spark-介绍.mp4
 009.Spark-部署方式-介绍.mp4
 010.Spark-解压后的文件结构.mp4
 011.Spark-部署环境-Local.mp4
 012.Spark-部署环境-Local-演示.mp4
 013.Spark-部署环境-Yarn-演示.mp4
 014.Spark-部署环境-Yarn-历史服务.mp4
 015.Spark-部署环境-Yarn-两种执行方式Cluster和Client.mp4
 016.Spark-部署环境-几种模式的对比.mp4
 017.Spark-数据结构-说明.mp4
 018.Spark-RDD-介绍.mp4
 019.Spark-RDD-数据处理流程简介.mp4
 020.Spark-RDD-计算原理.mp4
 021.Spark-RDD-计算原理-补充.mp4
 022.Spark-RDD-代码-环境的准备.mp4
 023.Spark-RDD-代码-对接内存数据源构建RDD对象.mp4
 024.Spark-RDD-代码-对接磁盘数据源构建RDD对象.mp4
 025.Spark-RDD-代码-RDD的理解.mp4
 026.Spark-RDD-代码-RDD的分区.mp4
 027.Spark-RDD-代码-内存数据源-分区数量的设定.mp4
 028.Spark-RDD-代码-磁盘文件数据源-分区数量的设定.mp4
 029.Spark-RDD-代码-内存数据源-分区数据的分配.mp4
 030.Spark-RDD-代码-磁盘文件数据源-分区数据的分配.mp4
 031.Spark-RDD-代码-磁盘文件数据源-分区数据的分配-演示.mp4
 033.Spark-RDD-方法-介绍.mp4
 034.Spark-RDD-方法-方法的两大类-转换和行动.mp4
 035.Spark-RDD-方法-数据处理的两大类-单值和键值.mp4
 036.Spark-RDD-方法-转换-map.mp4
 037.Spark-RDD-方法-转换-map-1.mp4
 038.Spark-RDD-方法-转换-map-2.mp4
 039.Spark-RDD-方法-转换-map-3.mp4
 040.Spark-RDD-方法-转换-map-4.mp4
 041.Spark-RDD-方法-转换-filter.mp4
 042.Spark-RDD-方法-转换-flatMap.mp4
 043.Spark-RDD-方法-转换-flatMap-1.mp4
 044.Spark-RDD-方法-转换-groupBy.mp4
 045.Spark-RDD-回顾-原理.mp4
 046.Spark-RDD-回顾-方法.mp4
 047.Spark-RDD-Shuffle.mp4
 048.Spark-RDD-Shuffle-原理.mp4
 049.Spark-RDD-Shuffle-原理-补充.mp4
 050.Spark-RDD-Shuffle-演示.mp4
 051.Spark-RDD-方法-distinct.mp4
 052.Spark-RDD-方法-sortBy.mp4
 053.Spark-RDD-方法-KV类型数据介绍.mp4
 054.Spark-RDD-方法-KV类型数据补充.mp4
 055.Spark-RDD-方法-KV-mapValues.mp4
 056.Spark-RDD-方法-KV-wordCount.mp4
 057.Spark-RDD-方法-KV-groupByKey.mp4
 058.Spark-RDD-方法-KV-reduceByKey.mp4
 059.Spark-RDD-方法-KV-sortByKey.mp4
 060.Spark-RDD-方法-KV-reduceByKey和groupByKey的区别.mp4
 061.Spark-RDD-WordCount程序在环境中运行.mp4
 062.Spark-RDD-转换方法的回顾.mp4
 063.Spark-RDD-行动算子-介绍.mp4
 064.Spark-RDD-行动算子-collect.mp4
 065.Spark-RDD-行动算子-collect-补充.mp4
 066.Spark-RDD-行动算子-其他方法-1.mp4
 067.Spark-RDD-行动算子-其他方法-2.mp4
 068.Spark-RDD-行动算子-其他方法-3.mp4
 069.Spark-RDD-行动算子-Driver端和Executor端数据传输.mp4
 070.Spark-RDD-序列化-1.mp4
 071.Spark-RDD-序列化-2.mp4
 072.Spark-案例-数据格式说明.mp4
 073.Spark-案例-需求介绍.mp4
 074.Spark-案例-需求分析.mp4
 075.Spark-案例-需求设计.mp4
 076.Spark-案例-开发原则.mp4
 077.Spark-案例-代码实现-1.mp4
 078.Spark-案例-代码实现-2.mp4
 079.Spark-案例-代码实现-3.mp4
 080.Spark-案例-代码实现-4.mp4
 081.Spark-RDD-KRYO序列化框架.mp4