这门课解决什么问题
很多做业务数据分析或后端开发的人，迟早会撞到单机处理的瓶颈：几千万行规模的日志导进 Pandas，内存直接爆掉，跑一次聚合要等半天。这门课针对的就是这种“数据量超出单机内存”的场景，用 PySpark 把处理逻辑拆到集群上跑。它解决的核心问题有两个：一是让你理解大数据处理的基本流程，从数据读取、转换到落盘；二是让你用熟悉的 Python 语法去操作 Spark，不用先啃 Scala。课程从环境搭建讲起，覆盖 DataFrame 操作、行列数据类型这些基础，属于体系比较完整的技术入门。如果你目前还在写 Excel 宏或者只用单机 Python，又需要处理 GB 级以上的数据，这门课的定位是合适的。
适合什么基础，建议先看哪几块
这份数据对零基础不太友好，前提是你得有 Python 基础语法功底，写过函数、用过列表和字典，最好接触过 Pandas 的 DataFrame 概念。纯小白建议先补 Python 再来。有编程基础的人，建议先跳过最前面的环境安装部分，直接看“Spark 和 PySpark 是什么”以及“第一个 PySpark 程序”这两块，快速建立对计算模型的整体认知。环境搭建那段可以等决定真要练手时再回头跟着配，因为涉及 Java 依赖和软件安装，容易卡住，没必要一开始就耗在这上面。把核心数据结构 DataFrame 那块作为重点看，这是后续所有操作的基础，理解了行、列、数据类型的映射关系，后面的聚合和连接操作才不会觉得抽象。
学完能独立做什么，资料怎么配合练习
学完之后，你应该能独立写出一个 PySpark 脚本：从本地或数据源读取大规模结构化数据，做过滤、分组聚合、多表关联，最后把结果写回文件。这已经足够应付日常的离线数据清洗和统计任务，虽然还谈不上搭建企业级数仓，但作为个人技术栈的补充是够用的。练习时，建议把视频和代码配合着用：先看一遍视频理解逻辑，然后自己在 Jupyter Lab 里把示例代码敲一遍，改几个参数看输出变化。不要只看不练，数据处理这门手艺，看懂和能跑通之间隔着反复试错。遇到报错先查文档，实在搞不定再回看视频里对应的操作细节，这样学比较扎实。
从零到一学习大数据的处理流程，结合Python一步步实现Spark的技术处理实现
课程目录
* 01 01 PySpark课程介绍.mp4 (17.48 MB), 03:45
* 02 02 Spark和PySpark是什么.mp4 (46.34 MB), 10:12
* 03 03 PySpark的环境安装介绍.mp4 (42.20 MB), 06:24
* 04 04 PySpark依赖的软件的安装.mp4 (60.71 MB), 08:57
* 05 05 Jupyter lab的使用说明.mp4 (65.50 MB), 09:55
* 06 06 第一个PySpark程序.mp4 (64.52 MB), 10:37
* 07 07 PySpark的核心数据结构DataFrame.mp4 (107.13 MB), 16:56
* 08 08 PySpark的行和列的数据类型.mp4 (65.48 MB), 10:16
* 09 09 PySpark创建DataFrame的几种方式.mp4 (75.79 MB), 11:25
* 10 10 PySpark使用Select查询数据的方法.mp4 (54.17 MB), 08:18
* 11 11 PySpark按条件筛选查询数据.mp4 (65.30 MB), 09:50
* 12 12 PySpark编写自定义函数查询数据.mp4 (55.46 MB), 08:24
* 13 13 PySpark使用SparkSQL查询数据.mp4 (70.78 MB), 10:48
* 14 14 PySpark怎样使用for循环处理数据.mp4 (71.41 MB), 10:58
* 15 15 PySpark 怎样给数据添加新列.mp4 (56.52 MB), 08:40
* 16 16 PySpark的单个UDF怎样同时添加多个列.mp4 (51.78 MB), 07:44
* 17 17 PySpark使用when函数实现条件表达式.mp4 (42.82 MB), 06:29
* 18 18 PySpark怎么删除数据列.mp4 (28.52 MB), 04:21
* 19 19 PySpark怎样实现列的重命名.mp4 (50.37 MB), 07:43
* 20 20 PySpark的统计函数和数学函数.mp4 (69.33 MB), 10:48
* 21 21 PySpark实现缺失值的处理.mp4 (82.74 MB), 13:03
* 22 22 PySpark对数据实现排序操作.mp4 (46.89 MB), 07:31
* 23 23 PySpark的日期时间处理函数.mp4 (105.07 MB), 17:05
* 24 24 PySpark的字符串处理函数.mp4 (99.41 MB), 15:51
* 25 25 PySpark的复杂数据类型.mp4 (89.57 MB), 13:36
* 26 26 PySpark怎样拆分数据和保存文件.mp4 (65.19 MB), 09:47
* 27 27 PySpark实现相同格式数据文件的合并.mp4 (54.24 MB), 08:10
* 28 28 PySpark实现数据的关联Join.mp4 (83.44 MB), 13:36
* 29 29 PySpark实现数据的笛卡尔积Join.mp4 (56.58 MB), 08:56
* 30 30 PySpark实现分组group数据统计.mp4 (54.16 MB), 08:18
* 31 31 PySpark实现分组自定义函数计算.mp4 (96.75 MB), 14:45
* 32 32 PySpark的窗口函数介绍.mp4 (49.08 MB), 08:27
* 33 33 PySpark的窗口函数的代码演示.mp4 (65.96 MB), 10:08
* 34 34 PySpark怎样查询每个分组的前N名员工.mp4 (53.12 MB), 08:11
* 35 35 PySpark怎样实现数据透视表统计.mp4 (52.18 MB), 08:15
* 36 36 PySpark的explode爆炸函数.mp4 (41.03 MB), 06:18
* 37 37 PySpark 使用broadcast做性能优化.mp4 (42.09 MB), 06:28
* 38 38 PySpark配合matplotlib做数据可视化.mp4 (51.64 MB), 08:12
* 39 39 PySpark写入和查询MySQL数据库.mp4 (85.64 MB), 13:05
* 40 40 PySpark案例统计分析北京10年天气数据.mp4 (74.78 MB), 11:42
* 41 41 PySpark案例统计分析电影评分数据.mp4 (74.91 MB), 11:35
* 42 42 PySpark案例统计分析披萨订单数据.mp4 (62.04 MB), 10:01
* 43 43 PySpark案例统计分析中国电动车销量数据.mp4 (52.09 MB), 08:07
* 44 44 PySpark案例实现交友推荐算法.mp4 (64.43 MB), 09:55
* 45 45 PySpark案例实现淘宝热卖榜分析.mp4 (70.99 MB), 11:03
* 46 46 PySpark技术总结和展望.mp4 (49.82 MB), 09:04
