值不值得学：先想清楚你要解决什么问题
这份资料讲的是用 Python 搭配 Hadoop 和 Spark 处理大数据。它主要解决一个很具体的场景：当数据量大到单机 pandas 读不动、Excel 直接卡死时，怎么用分布式思路拆解任务。如果你日常只做几万行以内的报表，这套东西偏重，学它属于杀鸡用牛刀；但如果你正往数据开发、数仓或大数据分析方向转，或者公司已有集群要接，它就是绕不开的地基。课程没有铺陈太多理论，而是从 MapReduce 模型切入，带你理解数据怎么切分、怎么局部聚合、怎么在多节点间流转，这是写分布式代码前必须过的一关。
适合什么基础、建议怎么看
它不适合零基础。前提是你能熟练写 Python 函数、懂基本数据结构，最好碰过 pandas 或 numpy，知道数据清洗在单机上是咋回事。如果连循环和字典都吃力，先补语言基础再看，否则会被分布式调试的复杂度劝退。建议先看 MapReduce 和 combiner 那几节，搞懂单次聚合和多级聚合的差别，这是整套模型的核心机制；接着跟着 Hadoop 介绍和 HDFS 那段，把集群怎么起、文件怎么存弄明白；最后再看在集群里跑作业的内容，重点观察任务提交后日志怎么看、报错怎么定位。不要一上来就追求搭完美集群，先把单节点跑通比啥都强。
学完能独立做什么、资料怎么配合练
学完之后，你应该能独立完成一件实在事：拿到一份 GB 级甚至更大的原始日志，用 Python 写出 MapReduce 逻辑，丢到 Hadoop 集群上跑出统计结果。比如资料里提到的求最低温度、漫画数据分析这类例子，本质就是教你把业务问题翻译成 map 和 reduce 两个阶段。练习时建议这样配合：先在本地用小数据集模拟单机版逻辑，验证输出对不对；再把同样逻辑改写成集群可跑的作业，观察分布式环境下的行为差异；最后自己换一份数据，比如拿服务器访问日志，重做一遍求极值或分组的任务。能独立换数据、换需求还跑通，就算真正上手了，而不是只照着抄了一遍。
掌握Python实战大数据hadoop.spark
课程目录
* 01 python大数据与hadoop中的mapreduce模型/
* 01 作业讲解与回顾.mp4 16:56
* 02 combiner.mp4 26:32
* 03 多级mapreduce的combiner.mp4 38:48
* 04 customer.mp4 09:03
* 05 marvel漫画分析.mp4 28:55
* 06 扩展.mp4 18:41
* 02 python大数据hadoop实战/
* 01 hadoop介绍.mp4 26:11
* 02 hadoop HDFS.mp4 10:56
* 03 启动hadoop.mp4 06:38
* 04 mapreduce.mp4 01:11:02
* 05 在hadoop集群中运行.mp4 02:05
* 06 求zui低温度.mp4 24:44
* 07 friend.mp4 12:37
* 08 shuffle和sort补充.mp4 05:11
* 09 MRstep.mp4 18:38
* 10 MRstep求平均年薪.mp4 11:13
* 03 python大数据智hadoop能推荐实战/
* 01 作业回顾.mp4 15:51
* 02 相似度.mp4 38:54
* 03 电影相似度项目.mp4 56:35
* 04 测试题.mp4 09:56
* 04 python大数据spark实战入门/
* 01 hadoop回顾.mp4 07:12
* 02 spark简介和启动方法.mp4 09:29
* 03 spark-purchase.mp4 36:40
* 04 spark-purchase2-交互式.mp4 17:40
* 05 movie数据分析-用户数据分析.mp4 45:22
* 06 movie数据分析-电影数据分析.mp4 21:29
* 07 movie数据分析-评分数据分析.mp4 39:30
* 05 pyspark高级实战/
* 01 onehot向量.mp4 25:54
* 02 提取特征.mp4 32:19
* 03 提取特征2.mp4 09:40
* 04 spark-sql.mp4 22:24
* 05 spark-ml-1.mp4 17:12
* 06 spark测试题.mp4 13:18
* 07 spark推荐引擎.mp4 33:15
* 08 spark推荐引擎补充.mp4 03:57
* 09 spark机器学习.mp4 34:36
* 06 百度网盘课件下载/
* 01 百度网盘资料下载
* 02 （此课件不可用请下载第一项的网盘链接资料）课件
