**【Python版pyspark】Spark大数据基础入门视频课程导读**

在大数据技术日新月异、数据规模呈指数级增长的今天，掌握分布式计算框架已成为数据工程师与分析师的核心竞争力。其中，Apache Spark 凭借其内存计算的高性能和通用的生态系统，稳居行业主流地位。然而，许多初学者在面对 Spark 时，往往卡在两个关卡：一是环境部署复杂，二是 API 使用晦涩。本课程正是为了解决这两大痛点而生，专为 Python 开发者打造的一条从“零搭建”到“熟练编程”的完整学习路径。

**一、 硬核开局：Docker 构建完整大数据集群**

课程最大的亮点在于其“全链路实战”的设计思路。不同于仅仅停留在代码层面的教程，本课从最基础的 Docker 环境入手，手把手教你如何从零搭建一个包含 Hadoop、HDFS、YARN、Spark 以及 Hive 的完整本地分布式集群。

你将系统学习镜像制作方案、集群网络规划、子网配置以及 SSH 无密钥登录等底层运维知识。通过深入解析 Hadoop 与 Spark 的核心配置文件，并结合 Dockerfile 自动化构建脚本，你不仅能学会如何启动多节点容器，更能深刻理解分布式系统在底层是如何协同工作的。这种“知其然更知其所以然”的学习方式，将为你后续排查生产环境问题打下坚实的运维基础。

**二、 PySpark 核心编程：从入口到高级特性**

在环境就绪后，课程全面切入 PySpark 编程实战。从 SparkContext 这一核心编程入口讲起，详细剖析 RDD（弹性分布式数据集）的基本操作，并重点讲解 Accumulator 累加器在跨节点数据聚合中的妙用。

针对实际开发中常见的性能瓶颈与依赖问题，课程专门开辟了文件加载专题，深入讲解 addFile 方法配合 SparkFiles.get 的动态资源加载机制，以及 binaryFiles 读取二进制文件的技巧。此外，Broadcast 广播变量的原理与实践也是本阶段的重中之重，帮助你理解如何在大规模数据场景中避免数据shuffle带来的性能损耗。

**三、 课程特色与适用人群**

本课程摒弃了枯燥的理论堆砌，采用“环境搭建 + 代码实战”的双轮驱动模式。无论你是希望从零开始系统学习 Spark 的初学者，还是试图补齐 Docker 运维短板的数据分析师，都能从中获益。特别值得一提的是，课程末尾还附带了 Docker 基础精讲，确保即使你对容器技术一无所知，也能顺利通关。

学习本课程，你将不再惧怕复杂的分布式环境配置，能够独立部署并维护 Spark 集群，并熟练掌握 PySpark 的关键 API 进行高效的大数据处理。如果你想打通从数据部署到数据处理的全流程技能树，这门课程是不容错过的进阶之选。

课程目录

1-1 [Docker搭建Spark集群,最后一章附Docker基础课] Spark课程前言 (16:56).mp4
 1-2 [Docker搭建Spark集群,最后一章附Docker基础课] Spark基础概念 (18:59).mp4
 1-3 [Docker搭建Spark集群,最后一章附Docker基础课] 镜像制作方案和集群网络规划及子网配置和SSH无密钥登录规则配 (17:04).mp4
 1-4 [Docker搭建Spark集群,最后一章附Docker基础课] Hadoop、HDFS、Yarn配置文件详解 (18:04).mp4
 1-5 [Docker搭建Spark集群,最后一章附Docker基础课] Spark及Hive配置文件详解 (13:11).mp4
 1-6 [Docker搭建Spark集群,最后一章附Docker基础课] Dockerfile制作Hadoop、Spark、Hive、 (26:51).mp4
 1-7 [Docker搭建Spark集群,最后一章附Docker基础课] 启动5个容器并开启Hadoop、Spark、Hive、Mys (38:11).mp4
 1-8 [Docker搭建Spark集群,最后一章附Docker基础课] pyspark模块介绍 (14:12).mp4
 1-9 [Docker搭建Spark集群,最后一章附Docker基础课] SparkContext编程入口及Accumulator累加 (17:45).mp4
 1-10 [Docker搭建Spark集群,最后一章附Docker基础课] addFile方法和SparkFiles的get方法加载和获 (22:24).mp4
 1-11 [Docker搭建Spark集群,最后一章附Docker基础课] binaryFiles读取二进制文件 (05:02).mp4
 1-12 [Docker搭建Spark集群,最后一章附Docker基础课] Broadcast广播变量和setLogLevel日志级别 (17:05).mp4
 1-13 [Docker搭建Spark集群,最后一章附Docker基础课] 文件的读取和保存及runJob方法和parallelize方 (23:31).mp4
 1-14 [Docker搭建Spark集群,最后一章附Docker基础课] union方法和statusTracker方法讲解 (07:16).mp4
 1-15 [Docker搭建Spark集群,最后一章附Docker基础课] aggregate和aggregateByKey的异同及注意 (16:48).mp4
 1-16 [Docker搭建Spark集群,最后一章附Docker基础课] collectAsMap和fold方法的理解及正确使用 (16:42).mp4
 1-17 [Docker搭建Spark集群,最后一章附Docker基础课] foreach和foreachPartitions原理及使用 (06:16).mp4
 1-18 [Docker搭建Spark集群,最后一章附Docker基础课] histogram和lookup方法的使用详解 (17:47).mp4
 1-19 [Docker搭建Spark集群,最后一章附Docker基础课] reduce、sampleStdev、saveAsPickl (16:54).mp4
 1-20 [Docker搭建Spark集群,最后一章附Docker基础课] sequenceFile序列文件的保存和读取 (06:44).mp4
 1-21 [Docker搭建Spark集群,最后一章附Docker基础课] takeSample、treeAggregate和treeR (17:55).mp4
 1-22 [Docker搭建Spark集群,最后一章附Docker基础课] coalesce、repartition和partition (20:41).mp4
 1-23 [Docker搭建Spark集群,最后一章附Docker基础课] cogroup、combineByKey、reduceByK (17:07).mp4
 1-24 [Docker搭建Spark集群,最后一章附Docker基础课] 集合操作intersection、subtract、unio (04:39).mp4
 1-25 [Docker搭建Spark集群,最后一章附Docker基础课] join、fullOuterJoin、leftOuterJo (05:58).mp4
 1-26 [Docker搭建Spark集群,最后一章附Docker基础课] glom、mapPartitions、mapValues等方 (13:20).mp4
 1-27 [Docker搭建Spark集群,最后一章附Docker基础课] pipe、randomSplit、sampleByKey、s (08:03).mp4
 1-28 [Docker搭建Spark集群,最后一章附Docker基础课] sortBy、sortByKey、values、zip、zi (09:25).mp4
 1-29 [Docker搭建Spark集群,最后一章附Docker基础课] StorageLevel中常见的存储级别 (04:34).mp4
 1-30 [Docker搭建Spark集群,最后一章附Docker基础课] SparkConf对象详解 (11:04).mp4
 1-31 [Docker搭建Spark集群,最后一章附Docker基础课] 广播变量深入讲解 (06:36).mp4
 1-32 [Docker搭建Spark集群,最后一章附Docker基础课] Accumulator累加器详解 (04:05).mp4
 1-33 [Docker搭建Spark集群,最后一章附Docker基础课] StatusTracker Spark作业运行状态监控 (04:49).mp4
 2-1 [Docker基础入门【选修】] 什么是Docker技术 (08:20).mp4
 2-2 [Docker基础入门【选修】] 为什么要使用Docker (04:53).mp4
 2-3 [Docker基础入门【选修】] Docker中的基本概念 (05:42).mp4
 2-4 [Docker基础入门【选修】] Docker安装 (04:14).mp4
 2-5 [Docker基础入门【选修】] 获取镜像 (08:19).mp4
 2-6 [Docker基础入门【选修】] 创建镜像（上） (09:06).mp4
 2-7 [Docker基础入门【选修】] 创建镜像（下） (10:25).mp4
 2-8 [Docker基础入门【选修】] 本地导入镜像 (07:26).mp4
 2-9 [Docker基础入门【选修】] 保存、载入、删除镜像 (05:14).mp4
 2-

10 [Docker基础入门【选修】] Docker容器的创建、启动、和停止 (11:19).mp4
 2-

11 [Docker基础入门【选修】] 进入后台运行的容器 (08:59).mp4
 2-

12 [Docker基础入门【选修】] 导入、导出、删除容器 (07:46).mp4
 2-

13 [Docker基础入门【选修】] Docker公有仓库Docker Hub (10:26).mp4
 2-

14 [Docker基础入门【选修】] 创建Docker私有仓库 (08:36).mp4
 2-

15 [Docker基础入门【选修】] 数据卷 (15:26).mp4
 2-

16 [Docker基础入门【选修】] 数据卷容器 (10:30).mp4
 2-

17 [Docker基础入门【选修】] 数据卷容器备份、恢复、迁移数据卷 (11:06).mp4
 2-

18 [Docker基础入门【选修】] Docker容器绑定外部IP和端口 (11:26).mp4
 2-

19 [Docker基础入门【选修】] 容器互联 (08:18).mp4
 2-

20 [Docker基础入门【选修】] 一个完整的例子 (35:10).mp4
 2-

21 [Docker基础入门【选修】] Dockerfile基本结构 (08:33).mp4
 2-

22 [Docker基础入门【选修】] 熟悉Dockerfile中的13种指令 (21:48).mp4