课程目录

开篇词 (1讲)

  1. 开篇词 _ 从这里开始，带你走上硅谷一线系统架构师之路

专栏加餐 _ 特别福利 (4讲)

  1. FAQ第一期 _ 学习大规模数据处理需要什么基础？
  2. FAQ第三期 _ Apache Beam基础答疑
  3. FAQ第二期 _ Spark案例实战答疑
  4. 加油站 _ Practice makes perfect！

模块一 _ 直通硅谷大规模数据处理技术 (3讲)

  1. 01 _ 为什么MapReduce会被硅谷一线公司淘汰？
  2. 02 _ MapReduce后谁主沉浮：怎样设计下一代数据处理技术？
  3. 03 _ 大规模数据处理初体验：怎样实现大型电商热销榜？

模块二 _ 实战学习大规模数据处理基本功 (8讲)

  1. 04 _ 分布式系统（上）：学会用服务等级协议SLA来评估你的系统
  2. 05 _ 分布式系统（下）：架构师不得不知的三大指标
  3. 06 _ 如何区分批处理还是流处理？
  4. 07 _ Workflow设计模式：让你在大规模数据世界中君临天下
  5. 08 _ 发布_订阅模式：流处理架构中的瑞士军刀
  6. 09 _ CAP定理：三选二，架构师必须学会的取舍
  7. 10 _ Lambda架构：Twitter亿级实时数据分析架构背后的倚天剑
  8. 11 _ Kappa架构：利用Kafka锻造的屠龙刀

模块三 _ 抽丝剥茧剖析Apache Spark设计精髓 (10讲)

  1. 12 _ 我们为什么需要Spark？
  2. 13 _ 弹性分布式数据集：Spark大厦的地基（上）
  3. 14 _ 弹性分布式数据集：Spark大厦的地基（下）
  4. 15 _ Spark SQL：Spark数据查询的利器
  5. 16 _ Spark Streaming：Spark的实时流计算API
  6. 17 _ Structured Streaming：如何用DataFrame API进行实时数据分析_
  7. 18 _ Word Count：从零开始运行你的第一个Spark应用
  8. 19 _ 综合案例实战：处理加州房屋信息，构建线性回归模型
  9. 20 _ 流处理案例实战：分析纽约市出租车载客信息
  10. 21 _ 深入对比Spark与Flink：帮你系统设计两开花

模块四 _ Apache Beam为何能一统江湖 (8讲)

  1. 22 _ Apache Beam的前世今生
  2. 23 _ 站在Google的肩膀上学习Beam编程模型
  3. 24 _ PCollection：为什么Beam要如此抽象封装数据？
  4. 25 _ Transform：Beam数据转换操作的抽象方法
  5. 26 _ Pipeline：Beam如何抽象多步骤的数据流水线？
  6. 27 _ Pipeline I_O_ Beam数据中转的设计模式
  7. 28 _ 如何设计创建好一个Beam Pipeline？
  8. 29 _ 如何测试Beam Pipeline？

模块五 _ 决战 Apache Beam 真实硅谷案例 (7讲)

  1. 30 _ Apache Beam实战冲刺：Beam如何run everywhere_
  2. 31 _ WordCount Beam Pipeline实战
  3. 32 _ Beam Window：打通流处理的任督二脉
  4. 33 _ 横看成岭侧成峰：再战Streaming WordCount
  5. 34 _ Amazon热销榜Beam Pipeline实战
  6. 35 _ Facebook游戏实时流处理Beam Pipeline实战（上）
  7. 36 _ Facebook游戏实时流处理Beam Pipeline实战（下）

模块六 _ 大规模数据处理的挑战与未来 (4讲)

  1. 37 _ 5G时代，如何处理超大规模物联网数据
  2. 38 _ 大规模数据处理在深度学习中如何应用？
  3. 39 _ 从SQL到Streaming SQL：突破静态数据查询的次元
  4. 40 _ 大规模数据处理未来之路

结束语 (1讲)

  1. 结束语 _ 世间所有的相遇，都是久别重逢