课程目录
1 Spark介绍 特点 核心组件 (26:22)
2 Spark安装启动 本地模式 读取文件测试 (40:54)
3 Spark-shell中执行WordCount操作 (32:51)
4 spark提交样例程序 (32:50)
5 spark集群模式部署启动 (12:55)
6 6.spark集群中执行任务 配置启动查看历史服务 (24:05)
7 7.spark集群高可用配置 (15:01)
8 8.在IDEA中使用scala开发WordCount (30:30)
9 9.上节内容回顾 (11:08)
10 10.RDD的介绍及特点 (28:24)
11 11.RDD的创建方式 (26:54)
12 12.RDD中的算子map、flatMap、reduceByKey (28:10)
13 13.上午知识回顾 (07:52)
14 14.统计独立ip访问次数案例 (29:33)
15 15.由案例引出的问题及解决方案 (10:57)
16 16.RDD的特点 (12:17)
17 17.Transformation类型的算子1 (31:41)
18 18.Transformation类型的算子2 (44:35)
19 19.上节内容回顾 (12:41)
20 20.Transformation类型的算子3 (30:51)
21 21.Transformation类型的算子4 (39:33)
22 22.Action类型的算子 (36:41)
23 23.Spark RDD练习：PM值统计案例 (35:57)
24 24.RDD查看分区 指定分区 (38:12)
25 25.缓存的意义 (43:03)
26 26.缓存API使用 缓存级别 (25:08)
27 27.checkpoint的作用及使用 (20:19)
28 28.上节内容回顾 (09:24)
29 29.搜狗搜索日志案例：读取数据 (35:36)
30 30.搜狗搜索日志案例：搜索关键词统计 (38:40)
31 31.搜狗搜索日志案例：用户搜索词点击统计 (17:40)
32 32.向Hbase中写数据：处理数据 创建表 (46:15)
33 33.向HBase中写数据：组装数据 写入表 (31:36)
34 34.从HBase中读取数据 (34:01)
35 35.向Mysql中插入词频统计结果 (36:13)
36 36.共享变量：广播变量 累加器 (46:24)
37 37.Spark宽依赖 窄依赖 内核调度 (45:26)
38 38.SparkSQL是什么 适用场景 (27:33)
39 39.SparkSQL命令式API SparkSession (44:32)
40 40.SparkSQL声明式API (20:04)
41 41.Catalyst优化器 (28:11)
42 42.Dataset的特点 (50:50)
43 43.DataFrame是什么 如何创建 (25:24)
44 44.DataFrame支持什么操作 (35:07)
45 45.Dataset和DataFrame的区别 Row对象 (42:10)
46 46.初识 DataFrameReader (23:00)
47 47.初识 DataFrameWriter (12:47)
48 48.读写Parquet格式数据 (16:19)
49 49.分区读写 Parquet 格式文件 (23:39)
50 50.读写JSON格式数据 (20:55)
51 51.SparkSQL访问Hive数据 (59:08)
52 52.SparkSQL向Hive中保存数据 (39:46)
53 53.上节内容回顾 (08:56)
54 54.SparkSQL向MySQL中写入数据 (25:35)
55 55.有类型的转换操作1 (50:09)
56 56.有类型的转换操作2 (31:44)
57 57.无类型的转换操作 (34:30)
58 58.Column对象的创建 (24:15)
59 59.Column对象的相关操作 (17:15)
60 60.缺失值处理 特殊类型NaN null (34:44)
61 61.字符串缺失值处理 (29:33)
62 62.聚合操作 groupBy (27:22)
63 63.groupBy多维聚合 (28:04)
64 64.多维聚合 rollup cube (44:13)
65 65.连接操作 交叉连接 内连接 (38:24)
66 66.其他连接方式 (20:00)
67 67.functions.UDF (22:24)
68 68.上节知识回顾 (09:07)
69 69.窗口函数 案例1 (38:46)
70 70.窗口函数 案例2 (11:52)
71 71.出租车项目 业务分析 数据读取 (30:11)
72 72.出租车项目 数据清洗、转换 (01:10:10)
73 73.出租车项目 EitherTest (38:14)
74 74.出租车项目 使用Either处理异常 (32:05)
75 75.出租车项目 查看数据分布，剪除反常数据 (26:46)
76 76.Json4s转换测试 (53:43)
77 77.GeoJSON文件转为对象 类型分装 转换 (40:27)
78 78.针对行政区排序 根据经纬度查找行政区信息 (48:52)
79 79.统计行政区信息 (13:45)
80 80.统计行政区平均待客时长 (50:52)
81 81.SparkStreaming介绍 (23:14)
82 82.Socket netcat工具 (12:55)
83 83.SparkStreaming入门案例 (43:31)
84 84.上午知识回顾 (08:04)
85 85.SparkStreaming原理 (33:55)
86 86.SparkStreaming容错方案 (06:22)
87 87.SparkStreaming全局词频统计 (34:20)
88 88.SparkStreaming中的窗口操作 (19:17)
89 89.编程模型进化 SparkStreaming 和 StructuredStreaming (37:19)
90 90.StructuredStreaming入门案例 (29:49)
91 91.StructuredStreaming体系结构 (38:45)
92 92.StructuredStreaming读取HDFS数据 (38:55)
93 93.StructuredStreaming读取Kafka数据 (01:46:32)
94 94.写数据到HDFS (43:07)
95 95.写入数据到Kafka (34:15)
96 96.Foreach Sink写入数据到MySQL (27:40)
97 97.错误恢复和容错语义 (43:47)
