人工精选7期大数据之Spark+案例+推荐系统教程
先弄清楚：这门课解决什么工作场景 这份资料聚焦在 Spark 引擎与推荐系统基础，解决的是后端或数据开发人员面对海量数据时的计算瓶颈问题。如果你平时的工作只是写单机 SQL 跑几万条记录，一旦数据量上到千万级，单机节点就会跑不动甚至内存溢出。这门课的场景就是教你把计算任务拆分到分布式集群上跑。课程并
会员 · 按档位
游客按标价购买，不享受上表折扣。
支付成功后自动发放网盘链接，链接失效可找客服免费补
先弄清楚：这门课解决什么工作场景
这份资料聚焦在 Spark 引擎与推荐系统基础，解决的是后端或数据开发人员面对海量数据时的计算瓶颈问题。如果你平时的工作只是写单机 SQL 跑几万条记录，一旦数据量上到千万级，单机节点就会跑不动甚至内存溢出。这门课的场景就是教你把计算任务拆分到分布式集群上跑。课程并没有停留在只讲概念，而是顺着独立集群搭建、作业提交、两次 Shuffle 原理剖析这条主线，把分布式计算的底层逻辑拆开给你看。最后结合推荐系统的案例，告诉你怎么用这套引擎去处理实际业务中的用户画像打标或物品推荐计算。
适合什么基础，建议先看哪几块
这套资料不适合完全零基础的编程新手。看之前你需要有 Scala 或 Java 的基本语法储备，至少能看懂集合遍历和函数式写法，懂一点 Linux 常用命令。资料里同时给了 Scala 和 Java 两种语言的实现，如果你两门语言都不熟，建议先补基础再来看，否则会在环境搭建和代码跟踪环节卡壳。作为编辑，建议你拿到资料后不要按顺序死磕，先看第一天的基础和集群搭建，把本地或虚拟机环境跑通；接着直接跳去看作业提交流程和两次 Shuffle 的原理图解。把这几个核心模块吃透，你就能明白任务是怎么分发到各节点的，后续看 PairRDD 和宽窄依赖才不会觉得抽象。
资料怎么配合练习，学完能独立做什么
看这份资料最大的忌讳就是只当视频看不动手。Spark 是重实践的技术，光听原理不敲代码，到了真集群上依然不会排错。建议配合视频里的手敲代码环节，自己在本地搭一套独立集群模式，跟着把 WordCount 和标签生成跑通。每看完一个原理剖析，就自己去改一下代码参数，比如调一下分区数或者观察 Shuffle 过程中的磁盘读写，看看任务到底卡在哪一步。学完这套资料，你应该能独立完成几件事：搭建一套可用的 Spark 独立集群、把写好的数据处理作业正确部署提交上去、看懂运行日志里的资源分配情况，并且能基于 RDD 完成基础的数据清洗和推荐系统打标逻辑。如果你正想从普通后端往数据计算方向转，或者工作中需要接手大数据处理模块，这套资料能帮你把底层的分布式计算地基打扎实。
通过图解和手敲代码、剖析原理的方式，让学员学习Spark+案例+推荐系统技术。
课程目录
* 01 Spark第1天Spark基础/
* 01 01.Spark的安装.mp4 14:46
* 02 02.Spark体验wordcount实现.mp4 26:32
* 03 03.spark独立集群模式搭建.mp4 01:04:16
* 04 04.sparkjob部署.mp4 22:02
* 05 05.spark 两次shuffle.mp4 18:24
* 06 06.spark RDD-PairRDD-shuffle-宽.mp4 01:16:46
* 02 Spark第2天Spark 作业提交/
* 01 01.taggen scala版spark实现.mp4 50:44
* 02 02.taggen java版spark实现.mp4 40:57
* 03 03.spark作业提交流程.mp4 56:06
* 04 04.spark作业提交流程-2.mp4 01:06:57
* 05 05.spark作业提交流程-3.mp4 01:59:05
* 06 06.spark作业提交流程-4.mp4 01:02:52
* 03 Spark第3天Spark部署与资源分配/
* 01 01.spark提交流程回顾.mp4 02:08:17
* 02 02.spark常见变换和动作.mp4 49:53
* 03 03.spark数据倾斜问题.mp4 09:23
* 04 04.spark aggregateByKey.mp4 01:01:51
* 05 05.spark资源分配启动进程.mp4 01:55:22
* 06 06.sparkjob执行独立模式的考察.mp4 01:24:46
* 04 Spark第4天Spark Shuffle/
* 01 01.standalone job提交过程.mp4 35:28
* 02 02.yarn模式下job执行过程.mp4 41:38
* 03 03.spark.yarn.archive属性配置.mp4 18:58
* 04 04.spark hashshuffle下的文件合并.mp4 43:06
* 05 05.spark shuffle管理器.mp4 51:28
* 06 06.spark sort shuffle manager.mp4 01:00:22
* 07 07.spark bypass merge shuffle.mp4 56:55
* 08 08.spark SortShuffleWriter.mp4 01:43:32
* 05 Spark第5天Spark Shuffle/
* 01 01.shuffle回顾.mp4 01:23:18
* 02 02.SerialShuffleHandle-UnsafeS.mp4 01:19:10
* 03 03.BaseShuffleHandle-SortShuff.mp4 21:50
* 04 04.shuffle总结.mp4 59:18
* 05 05.内存管理器-内存优化.mp4 03:07:18
* 06 Spark第6天内存管理/
* 01 01.内存管理回顾.mp4 20:17
* 02 02.spark广播变量.mp4 49:23
* 03 03.spark广播变量2.mp4 01:13:31
* 04 04.spark广播变量原理.mp4 27:04
* 05 05.spark blockmanager.mp4 01:01:43
* 06 06.spark累加器.mp4 36:30
* 07 07.spark累加器-自定义累加器.mp4 53:51
* 08 08.spark RDD失败重试-累加器注意事项.mp4 59:25
* 09 09.spark RDD持久化.mp4 21:07
* 07 Spark第7天Spark SQL/
* 01 01.spark SQL体验.mp4 31:47
* 02 02.spark SQL编程.mp4 17:57
* 03 03.spark SQL编程-java实现.mp4 20:20
* 04 04.spark SQL编程-java实现聚合查询.mp4 14:55
* 05 05.spark SQL编程-自定义聚合函数.mp4 31:47
* 06 06.spark SQL编程-自定义聚合函数实现气温双向聚合.mp4 16:38
* 07 07.spark SQL数据的保存与加载.mp4 24:54
* 08 08.spark SQL集成Hive.mp4 28:46
* 09 09.spark SQL代码集成hive注意事项.mp4 07:39
* 10 10.spark SQL分布式查询引擎.mp4 39:12
* 11 11.spark SQL调优-命令行.mp4 17:32
* 12 12.spark streaming体验.mp4 27:41
* 08 Spark第8天Spark Streaming/
* 01 01.流计算注意事项.mp4 01:07:30
* 02 02.流计算windows操纵.mp4 12:31
* 03 03.流计算updateStateByKey.mp4 50:19
* 04 04.流计算updateStateByKey实现window.mp4 01:08:47
* 05 05.流处理外部存储.mp4 19:58
* 06 06.流应用部署需要.mp4 01:24:27
* 09 Spark第9天Spark Streaming/
* 01 01.spark streaming sqljava实现.mp4 21:37
* 02 02.spark streaming kafka集成.mp4 20:58
* 03 03.spark streaming位置策略处理.mp4 01:38:15
* 04 04.spark streaming使用jars参数指定类库.mp4 09:53
* 05 05.kafka与spark streaming分区对应关系.mp4 01:44:06
* 06 06.spark streaming总结.mp4 26:03
* 07 07.word中文分词.mp4 58:28
* 08 08.机器学习.mp4 01:01:27
* 10 Spark第10天Spark机器学习/
* 01 01.spark逻辑回归判断酒质量好坏.mp4 26:48
* 02 02.逻辑回归实现垃圾邮件分类.mp4 21:15
* 03 03.贝叶斯分类器集合svm文件实现分类.mp4 14:40
* 04 04.Kmean.mp4 21:01
* 05 05.ALS推荐实现电影.mp4 14:59
* 06 06.友盟项目描述和术语说明.mp4 50:02
* 07 07.友盟项目描述和术语说明2.mp4 44:12
* 08 08.友盟-手机端日志数据模拟.mp4 01:26:15
* 09 09.友盟-日志聚合体转成json数据(单行).mp4 08:20
* 10 10.友盟-公共模块抽取-web程序配置运行-phone发送.mp4 53:55
* 11 大数据项目第1天/
* 01 01.log4j配置.mp4 46:36
* 02 02.使用log4j对上传日志进行落地保存.mp4 40:15
* 03 03.使用log4j日志滚动.mp4 06:29
* 04 04.时间对齐.mp4 28:49
* 05 05.地理信息处理-geoLite.mp4 42:25
* 06 06.flume收集数据到kafka.mp4 58:36
* 07 07.flume-kafka-hdfs收集日志.mp4 21:44
* 12 大数据项目第2天/
* 01 01.log4l-项目描述-架构阐述.mp4 21:11
* 02 02.windows和linux安装nginx-openre.mp4 42:28
* 03 03.windows和linux下配置nginx反向代理服务.mp4 43:59
* 04 04.使用lua插件实现nginx post方式资源访问-j.mp4 33:04
* 05 05.配置windows下nginx反向代理到cengos.mp4 03:14
* 06 06.windows与centos下nginx集群-反向代理.mp4 15:31
* 07 07.配置nginx日志滚动.mp4 31:29
* 08 08.nginx提取client真实ip不是代理ip地址.mp4 06:22
* 13 大数据项目第3天/
* 01 01.umeng ngix集群和flume管理脚本.mp4 38:13
* 02 02.配置flume收集日志多出口-hdfs-kafka.mp4 54:38
* 03 03.hive udtf自定义表生成函数.mp4 01:04:31
* 04 04.hive udtf聚合体日志解析函数.mp4 56:33
* 05 05.hive udtf聚合体日志解析函数2.mp4 01:05:26
* 06 05.hive udtf聚合体日志解析函数3.mp4 16:32
* 07 06.hive udtf聚合体日志解析函数4.mp4 06:42
* 08 07.hive udtf聚合体日志解析函数5.mp4 07:22
* 14 大数据项目第4天/
* 01 01.日志表生成函数改造-层次化.mp4 37:53
* 02 02.提取jar中资源文件的注意事项.mp4 07:15
* 03 03.编写调度脚本-load-dump.mp4 01:21:13
* 04 04.编写调度脚本-dump.mp4 01:11:11
* 05 05.azkaban01.mp4 24:52
* 15 大数据项目第5天/
* 01 01.azkaban安装bug-调度执行.mp4 51:48
* 02 02.azkaban调度umengjob.mp4 27:45
* 03 03.数据流层次结构-时间函数处理.mp4 55:12
* 04 04.查询新增用户数.mp4 01:26:53
* 05 05.统计数据转储-作业调度.mp4 37:04
* 06 06.统计指标实现-日新-日活-沉默.mp4 58:40
* 16 大数据项目第6天/
* 01 01.导出数据mysql.mp4 46:22
* 02 02.自定义DBWritable使用mr方式导出数据到mys.mp4 52:17
* 03 03.4阶段执行job调度执行测试.mp4 31:08
* 04 04.spark-sql实现转储程序.mp4 01:29:30
* 05 05.spark-rdd实现统计数据-每个appid-每日新.mp4 50:45
* 06 06.spark-rdd实现每个appid和设备的日新增ja.mp4 30:15
* 07 07.spark-测试新调度.mp4 01:34:14
* 17 大数据项目第7天/
* 01 01.维度组合查询算法.mp4 01:03:39
* 02 02.实现各位维度数据入库的功能.mp4 02:01:26
* 03 03.封装按不同时间模式进行统计.mp4 01:06:52
* 04 04.SSM整合前端可视化查询.mp4 58:20
* 05 05.SSM整合展示数据部分.mp4 01:02:46
* 06 06.连续n周活跃java版实现.mp4 01:55:25
* 18 大数据项目第8天/
* 01 01.近期回流用户数统计.mp4 01:06:44
* 02 02.一周后留存用户.mp4 25:49
* 03 03.用户新鲜度.mp4 14:18
* 04 04.spark streaming流计算统计最大最小时间值.mp4 01:14:47
* 05 05.kafka数据实时清洗-再发布-spark strea.mp4 58:32
* 06 06.redis重新设计key-统计数据.mp4 15:34
* 07 07.flume收集断点续传.mp4 17:05
* 08 08.flume容灾拦截器.mp4 16:06
* 09 09.项目架构总结-集群规模-注意事项.mp4 01:40:00
* 19 推荐系统第1天/
* 01 01.推荐概念术语-rmse-mae-准确度-召回率-覆盖率.mp4 01:14:39
* 02 02.商品流行度-相对流行度-信息熵-衡量流行度分布均衡情况.mp4 50:59
* 03 03.信息熵-基尼系数.mp4 54:29
* 04 04.用户行为-隐性-显性.mp4 32:45
* 05 05.杰卡德相似度算法实现.mp4 01:13:27
* 06 06.基于用户的协同过滤实现.mp4 02:01:08
* 20 推荐系统第2天/
* 01 01.scala实现相似度计算.mp4 45:30
* 02 02.计算两两用户的相似度倒排列表.mp4 34:59
* 03 03.基于商品的协同过滤.mp4 01:53:12
* 04 04.基于商品的协同过滤和兴趣度算法.mp4 50:31
* 05 05.基于商品的协过滤推荐实现.mp4 58:47
* 06 06.LFM模型.mp4 51:54
* 07 07.知识点总结.mp4 01:05:21
* 08 08.简历指导.mp4 01:06:44
同类课程
和你正在看的这门一个方向
体系课AI大模型开发2026线下版V7.5
永久有效 · 网盘发货
体系课小滴课堂新一代AI全栈工程师-微服务AI智能面试对话平台
永久有效 · 网盘发货
体系课QCon 北京 2026 （4 月）
永久有效 · 网盘发货
体系课AI+全能测试工程师
永久有效 · 网盘发货
体系课小滴课堂中间件项目大课-自动化云测平台/Spingboot3.X/微服务/Kafka3.x
永久有效 · 网盘发货
体系课图灵工控一期：上位机+AI
永久有效 · 网盘发货