先看它解决的是哪类工作问题
如果你的日常已经绕着 Hive 写 SQL、偶尔跑跑 MapReduce,但一遇到「实时」两个字就发怵——比如业务方要求看板延迟从小时级压到分钟级、日志要边写边算指标、上游埋点数据流进 Kafka 后不知道怎么沉淀成可查询的结果表,那这门课的选题是冲着这些场景去的。它把 Spark 和 Flink 放在一条线上讲,不是单纯拆成两门独立的语法课,而是让你看清批处理与流处理在同一套数据链路里各自站什么位置。
但要先说清楚:这不是零基础课。资料开头仍然铺了 Linux、MySQL 与 SQL、Hadoop 的回顾内容,节奏偏快,更像是给「学过但生疏了」的人做唤醒,而不是手把手教命令。完全没有接触过 Linux 命令行、不知道 HDFS 是什么的转行者,直接进来会吃力。
学完能独立做到什么程度
按高级班的定位,比较现实的目标是:你能独立搭建一套 Spark 或 Flink 的作业,读懂别人写好的算子逻辑,针对具体指标改写出可运行的任务,并在本地或集群上把任务跑通、定位常见报错。Flink 部分的价值尤其在于,它让你从「只会写离线 SQL」过渡到「能理解有状态计算、窗口、检查点这些概念并能落到代码里」。
需要提醒的是,课程偏实战导向,演示的代码量不小。如果只是看完不动手,收获会非常有限。建议每个模块都要跟着跑一遍,哪怕数据规模很小。
资料结构与使用顺序建议
- 开头几段回顾内容不要跳过,但可以倍速过。Linux、SQL、Hadoop 三块是后面所有实战的地基,SQL 不熟的话,后面 Spark SQL 部分会反复卡壳。
- Hadoop 部分作为环境与存储的铺垫,理解 HDFS 和 YARN 的基本运作即可,不必陷进源码细节。
- 进入 Spark 与 Flink 正片后,建议两条线分开推进,不要同时开。先把 Spark 的批处理逻辑走通,再切到 Flink 的流处理,否则两套 API 容易混。
- 遇到跑不通的环境问题,优先检查版本与依赖,这是这类课最常见的卡点,不是你的理解问题。
适合谁、不适合谁
适合:已有半年以上大数据相关经验、写过 SQL 与简单离线任务、想补齐实时计算能力的在职开发者;以及准备从传统数仓转向实时数仓方向的人。
不适合:完全没写过代码、指望靠一门课转行进大厂的人;也不适合只想快速拿证、不愿意动手调环境的人。这门课给的是工程能力,不是速成捷径。
入手前的一个判断
选它的核心理由是「一门课同时把 Spark 和 Flink 的实战链路走一遍」,省去自己拼凑两套资料的麻烦。但代价是内容密度高、需要投入的练习时间不短。建议先确认自己每周能稳定拿出十几个小时动手,再决定是否开始。
课程目录
02Linux快速入门回顾二.mp4 112.38M 02Linux快速入门回顾一.mp4 126.86M 03MySQL&SQL快速入门回顾二.mp4 112.72M 03MySQL&SQL快速入门回顾一.mp4 108.12M 01-Scala是什么.mp4 94.07M 02-为什么要学Scala.mp4 29.33M 03-Java和Scala的关系.mp4 42.64M 04-Scala安装.mp4 147.78M 05-Scala快速入门.mp4 38.29M 06-Maven部署.mp4 108.24M 07-IDEA整合Maven本地开发环境搭建.mp4 51.74M 08-使用IDEA开发第一个Scala应用程序.mp4 52.56M 09-代码注释.mp4 120.14M 10-Scala标识符.mp4 27.58M 11-var和val.mp4 146.44M 12-读取终端数据.mp4 76.91M 01-上次课回顾.mp4 25.87M 02-数据类型概述.mp4 93.42M 03-整型.mp4 18.66M 04-浮点类型.mp4 13.33M 05-Char类型.mp4 20.18M 06-Boolean类型.mp4 8.92M 07-类型转换.mp4 20.29M 08-字符串操作.mp4 103.94M 09-运算符.mp4 28.03M 10-if语句.mp4 86.29M 11-while循环.mp4 100.22M 12-跳出while循环.mp4 43.87M 13-for循环.mp4 131.23M 14-function的定义和使用.mp4 104.63M 15-默认参数.mp4 41.82M 16-命名参数.mp4 16.33M 17-可变参数.mp4 63.41M 18-递归.mp4 70.60M 06Hadoop一01.mp4 163.91M 06Hadoop一02.mp4 250.83M 01-上次课回顾.mp4 33.88M 02-面向对象三大特性.mp4 11.83M 03-类和对象.mp4 23.45M 04-类的定义和使用.mp4 207.29M 05-占位符.mp4 28.01M 06-构造器.mp4 163.98M 07-继承和重写.mp4 108.28M 08-抽象类.mp4 111.59M 09-伴生类和伴生对象.mp4 132.88M 10-case class.mp4 70.08M 11-导包.mp4 62.91M 12-package object.mp4 62.35M 13-Type.mp4 237.02M 14-枚举.mp4 29.85M 15-单Trait.mp4 61.14M 16-多trait.mp4 59.10M 17-多Trait的顺序问题.mp4 79.84M 18-动态混入.mp4 22.76M 19-App Trait.mp4 49.38M 01-jUnit快速入门.mp4 254.21M 02-API操作之创建文件夹.mp4 148.44M 03-API操作之创建文件夹02.mp4 34.83M 04-API操作之参数设置优先级问题.mp4 198.48M 05-API操作之代码重构.mp4 60.61M 06-API操作之下载.mp4 40.18M 07-API操作之移动.mp4 21.80M 08-API操作之文件列表.mp4 76.86M 09-API操作之删除.mp4 17.14M 10-API操作之IO流操作.mp4 76.31M 09Hadoop二01.mp4 162.47M 09Hadoop二02.mp4 197.24M 10Hadoop三01.mp4 89.22M 10Hadoop三02.mp4 191.05M 11Hadoop四01.mp4 220.70M 11Hadoop四02.mp4 97.79M 12Hadoop五01.mp4 147.58M 12Hadoop五02.mp4 132.33M 01-上次课回顾.mp4 10.12M 02-模板方法模式.mp4 50.46M 03-HDFS API编程需求分析.mp4 43.62M 04-HDFS API编程实现01.mp4 72.96M 05-HDFS API编程实现02.mp4 159.00M 06-HDFS API编程实现03.mp4 34.24M 07-HDFS API编程实现04.mp4 119.97M 08-MapReduce概述.mp4 77.08M 09-MapReduce宏观上的流程(一定要掌握).mp4 37.71M 10-WC开发之Mapper和Reducer.mp4 175.27M 11-WC开发之Driver及测试.mp4 122.48M 12-WC开发之打包到服务器运行.mp4 100.63M 01-上次课回顾.mp4 40.15M 02-Mapper类源码分析.mp4 91.83M 03-Reducer类源码分析.mp4 21.53M 04-Debug方式运行MapReduce观察内部参数值.mp4 87.18M 05-Hadoop序列化接口Writable.mp4 115.98M 06-流量统计开发01.mp4 187.43M 07-流量统计开发02.mp4 129.18M 08-认识MR执行流程中核心类.mp4 76.32M 09-MapTask个数01.mp4 65.47M 10-MapTask个数02.mp4 253.71M 11-FileInputFormat案例.mp4 108.21M 12-KeyValueTextInputFormat案例.mp4 306.90M 13-NLineInputFormat案例.mp4 176.85M 14-DBInputFormat案例.mp4 211.84M 01-上次课回顾.mp4 53.64M 02-Partitioner.mp4 184.22M 03-Combiner.mp4 109.27M 04-Counter.mp4 160.41M 05-全局排序.mp4 254.98M 06-分区排序.mp4 59.26M 07-OutputFormat.mp4 56.30M 08-自定义OutputFormat.mp4 291.39M 09-groupby.mp4 149.35M 10-distinct.mp4 91.56M 01-上次课回顾.mp4 27.71M 02-ReduceJoin原理.mp4 129.60M 03-ReduceJoin之自定义序列化类.mp4 55.94M 04-ReduceJoin之Mapper开发.mp4 211.27M 05-ReduceJoin之Reducer开发.mp4 233.37M 06-ReduceJoin之小结.mp4 15.94M 07-MapJoin原理.mp4 24.65M 08-MapJoin代码实现.mp4 384.27M 09-压缩.mp4 159.75M 10-解压缩.mp4 69.09M 11-MR整合压缩.mp4 205.32M 12-提交流程源码分析01.mp4 180.93M 13-提交流程源码分析02.mp4 351.22M 01-作业提交流程源码总结.mp4 304.21M 02-MR官网解读.mp4 247.62M 03-MR官网解读续.mp4 105.99M 04-MR过程.mp4 90.87M 05-MR涉及到的参数.mp4 266.50M 021-Hive01.mp4 434.63M 适合人群 大数据开发工程师 数据分析师 有志于大数据领域的技术人员 学习收获 掌握Spark与Flink核心概念 学会大数据处理与流处理 提升大数据项目实战能力 祝您学习愉快! 学有所成,前程似锦!






