先弄清楚值不值得学：它解决什么问题

很多写过 Python 的同学一接触大数据，会被 Scala 或 Java 的底层框架劝退，这门课的定位就是帮你跨过这道坎。它讲的是 PySpark，也就是用你熟悉的 Python 语法去操作 Spark。在真实工作场景里，当单机 pandas 处理几个 G 的数据就开始内存溢出，或者公司要把日志清洗、用户画像放到集群上跑时，就需要这套技术。这门课解决的核心问题是：让普通 Python 开发者能平滑过渡到分布式计算，不用为了写大数据任务专门去换语言。资料里特意安排了 Docker 的基础讲解，这也是务实的设计，因为本地装一套 Hadoop 或 Spark 集群环境往往比写代码还折腾，用容器隔离能省去大量配环境的时间。

适合什么基础与学习顺序建议

这门内容不适合零基础。你得先具备 Python 基本语法、了解过 pandas 或 numpy 的常规操作，懂一点 Linux 命令行会更顺。如果这些都没问题，建议按三步走：第一，别跳过前面的 Docker 入门部分，跟着把镜像拉取和容器创建跑通，这是后续搭建本地测试集群的基石；第二，重点啃 Spark 的核心抽象，也就是 RDD 和 DataFrame 的转换操作，这是整套体系的灵魂；第三，再去碰机器学习那块的代码。很多人一上来直接看算法，结果连数据怎么分区、怎么缓存都没搞懂，稍微换个数据结构就报错。资料里的代码示例和配置文件，不要只在屏幕上看，务必在自己的环境里敲一遍。

学完能独立做什么与练习配合方式

把这套资料按顺序啃下来，你能独立完成几件具体的事：在本地用容器搭建多节点的 Spark 运行环境；写 PySpark 脚本读取结构化或半结构化日志，做分布式清洗和聚合；把处理好的特征喂给 Spark 自带的机器学习库，跑通分类或回归的流程。练习时，建议先拿课程自带的示例数据集跑通，然后尝试换一份自己找的 CSV 或 JSON，去改写里面的字段映射和清洗逻辑。如果换数据后程序还能正常跑出结果，说明你真正理解了算子而不是背了代码。遇到机器学习部分，重点看数据预处理和特征提取的环节，模型评估指标反而可以快速过，因为在实际工程里，特征工程往往比调参更花时间。


对于想转行或学习大数据的Python学员，基于已有的Python知识，学习Python大数据，你们拥有巨大的优势。大部分框架使用类Java语言实现，对于Python学员，PySpark是使用Python作为开发语言的程序员的福音，借助PySpark，Python开发人员可以轻松学习大数据。

课程目录

*   01 课程简介/

  *   01 课程简介.mp4 12:11

*   02 Docker知识快速入门/

  *   01 什么是Docker技术.mp4 08:21

  *   02 为什么要使用Docker.mp4 04:53

  *   03 Docker中的基本概念.mp4 05:42

  *   04 Docker安装.mp4 04:14

  *   05 Docker获取镜像.mp4 08:19

  *   06 Docker创建镜像（1）.mp4 09:06

  *   07 Docker创建镜像（2）.mp4 10:25

  *   08 Docker本地导入镜像.mp4 07:26

  *   09 Docker保存、载入、删除镜像.mp4 05:14

  *   10 Docker容器的创建启动和停止.mp4 11:19

  *   11 Docker命令进入容器后台.mp4 08:59

  *   12 Docker命令导入导出和删除容器.mp4 07:46

  *   13 Docker公有仓库Docker Hub.mp4 10:26

  *   14 Docker私有仓库的创建.mp4 08:36

  *   15 Docker中的数据卷.mp4 15:26

  *   16 Docker制作数据卷容器.mp4 10:30

  *   17 Docker数据卷容器实现备份恢复及迁移.mp4 11:06

  *   18 Docker容器绑定外部端口和IP.mp4 11:26

  *   19 Docker容器互联.mp4 08:19

  *   20 Docker一个完整的例子.mp4 35:10

  *   21 Dockerfile基本结构讲解.mp4 08:33

  *   22 Dockerfile中常见指令讲解.mp4 21:48

*   03 Docker搭建Spark学习环境，一键部署So easy!/

  *   01 Spark课程前言.mp4 16:56

  *   02 Spark基础核心概念讲解.mp4 18:59

  *   03 镜像制作方案和集群网络规划及子网配置和SSH无密钥登录规.mp4 17:04

  *   04 Hadoop、HDFS、Yarn配置文件详解.mp4 18:04

  *   05 Spark及Hive配置文件详解.mp4 13:11

  *   06 Dockerfile制作Hadoop/Spark/Hive镜.mp4 26:51

  *   07 启动5个容器并启动Hadoop、Spark、Hive服务.mp4 38:11

*   04 PySpark基础及运行原理快速入门，细致详尽！/

  *   01 pyspark模块介绍.mp4 14:12

  *   02 SparkContext编程入口及Accumulator.mp4 17:45

  *   03 addFile方法和SparkFiles的get方法.mp4 22:24

  *   04 binaryFiles读取二进制文件.mp4 05:02

  *   05 Broadcast广播变量和setLogLevel日志级别.mp4 17:05

  *   06 文件的读取和保存及runJob方法和parallelize.mp4 23:31

  *   07 union方法和statusTracker方法讲解.mp4 07:16

  *   08 aggregate和aggregateByKey的异同.mp4 16:48

  *   09 collectAsMap和fold方法的理解及正确使用.mp4 16:42

  *   10 foreach和foreachPartitions原理.mp4 06:16

  *   11 histogram和lookup方法的使用详解.mp4 17:47

  *   12 reduce、sampleStdev等方法的使用详解.mp4 16:54

  *   13 sequenceFile序列文件的保存和读取.mp4 06:44

  *   14 takeSample、treeAggregate方法使用.mp4 17:55

  *   15 coalesce、repartition方法使用技巧.mp4 20:41

  *   16 cogroup、combineByKey、reduceByK.mp4 17:07

  *   17 foldByKey、groupBy、groupWith几个方.mp4 18:14

  *   18 集合操作intersection、subtract、unio.mp4 04:39

  *   19 join、fullOuterJoin等RDD关联操作.mp4 05:58

  *   20 glom、mapPartitions、mapValues等方.mp4 13:20

  *   21 pipe、randomSplit、sampleByKey、s.mp4 08:03

  *   22 sortBy、sortByKey、values、zip、zi.mp4 09:25

  *   23 StorageLevel中常见的存储级别.mp4 04:34

  *   24 SparkConf对象详解.mp4 11:04

  *   25 广播变量深入讲解.mp4 06:36

  *   26 Accumulator累加器详解.mp4 04:05

  *   27 StatusTracker Spark作业运行状态监控.mp4 04:49

*   05 pyspark之SparkSQL基础与提升/

  *   01 pyspark之SparkSQL模块介绍.mp4 14:29

  *   02 SparkSession编程入口.mp4 13:20

  *   03 学习创建DataFrame的8种方式.mp4 21:13

  *   04 range和udf用户自定义函数讲解.mp4 20:39

  *   05 agg聚合方法及数据缓存方法cache的讲解.mp4 21:17

  *   06 colRegex及corr计算皮尔森相关系数.mp4 19:57

  *   07 crossJoin笛卡尔积和cube多维数据立方体.mp4 18:25

  *   08 explain、dropna及filter和where算子详.mp4 19:33

  *   09 groupBy、intersect、join方法详解.mp4 19:22

  *   10 rollup、replace和randomSplit方法讲解.mp4 18:22

  *   11 summary统计方法及toPandas转换为Pandas对.mp4 29:56

  *   12 GroupedData 对象.mp4 30:05

  *   13 DataFrame中的Column对象(上).mp4 30:24

  *   14 DataFrame中的Columns对象（下）.mp4 19:06

  *   15 Catalog对象详解.mp4 36:07

  *   16 Row对象详解.mp4 05:35

  *   17 DataFrameNaFunctions空数据处理方法集合.mp4 12:24

  *   18 DataFrameStatFunctions统计模块详解.mp4 11:05

  *   19 DataFrameReader读取外部数据生成DF.mp4 20:04

  *   20 DataFrameWriter将DF数据写入外部存储.mp4 22:19

  *   21 types 类型详解.mp4 15:03

  *   22 functions 函数模块详解.mp4 16:06

*   06 PySpark 机器学习模块/

  *   01 本地密集、稀疏向量和LabeledPoint向量.mp4 22:55

  *   02 本地矩阵和四种分布式矩阵.mp4 32:24

  *   03 Statistics基本的统计方法.mp4 20:18

  *   04 假设检验、随机数据的生成和核密度估计.mp4 13:23

  *   05 Piplines构建机器学习工作流.mp4 43:43

  *   06 TF-IDF词频你文档数和Word2vec词向量表示.mp4 27:45

  *   07 CountVectorizer和Tokenizer和正则特征.mp4 14:17

  *   08 PCA主成分分析、多项式核函数扩展特征空间、数据正则化、特征.mp4 34:13

  *   09 分桶器、向量组合器、SQL转换器及元素放缩器.mp4 17:22

  *   10 特征个数过滤器、缺失值处理器、类别编码器、向量类别判断器.mp4 21:26

  *   11 逻辑回归算法、原理、公式推导及二分类和多分类实践.mp4 28:42

  *   12 完全理解L1，L2正则化及其作用.mp4 22:25

  *   13 决策树算法原理、随机深林、梯度提升树代码实践.mp4 41:45

  *   14 多层感知机分类算法.mp4 13:05

  *   15 SVM支持向量机分类算法.mp4 21:41

  *   16 OneVsRest多分类算法.mp4 05:37

  *   17 Naive Bayes 朴素贝叶斯分类器.mp4 10:03

  *   18 Linear Regression线性回归.mp4 24:15

  *   19 GLMs广义线性模型.mp4 07:00

  *   20 回归树.mp4 11:22

  *   21 K-Means聚类算法.mp4 21:06

  *   22 二分K均值算法.mp4 06:24

  *   23 GMM高斯混合模型.mp4 07:30

  *   24 基于ALS交替最小二乘法的协同过滤推荐算法电影推荐实践.mp4 37:14

  *   25 FP-Growth频繁项集推荐算法.mp4 14:39

  *   26 超参数网格搜索.mp4 21:22