飞豹客 · 教程详情

- Spark SQL极速入门整合Kudu实现广告业务数据分析

会员可免费下载本篇

月会员、年会员、永久会员可按日额度下载（每篇扣 1 次）。

开通会员 · 按档位下载 →

体系课

0 人浏览发布 2026-10-17更新 2026-10-17

核心场景：解决广告数据的实时读写难题

在广告业务中，数据往往呈现高吞吐写入和复杂条件过滤的特点。传统的 Hive on Spark 方案虽然擅长离线批量处理，但在应对频繁更新和点查需求时，延迟较高且资源消耗大。本课程聚焦于 Spark SQL 与 Kudu 的整合应用，旨在解决这一工程痛点。Kudu 作为一种支持行级更新和实时查询的存储引擎，结合 Spark SQL 的计算能力，能够构建出既具备高写入吞吐、又支持低延迟分析的数据处理架构。课程将深入讲解如何利用这一组合，处理广告投放日志、实时报表生成等具体场景，帮助开发者摆脱对传统数仓方案的依赖，实现更灵活的数据服务能力。

入门门槛与精准学习路径

学习本课程存在明确的前置门槛。首先，你必须熟练掌握 SQL 语言，能够独立编写复杂的关联查询、聚合统计和窗口函数；其次，需要理解分布式系统的基本概念，如集群、节点、分区等，并对 Hadoop 生态有一定的认知。编程语言方面，建议具备 Java 或 Scala 基础，因为课程中的代码示例将主要基于这两种语言展开。对于初学者，建议按照以下顺序循序渐进：第一阶段，重点阅读 Spark SQL 的基础语法与 DataFrame API，确保能熟练操作数据处理的基本对象；第二阶段，深入理解 Kudu 的表结构设计原则，特别是主键设计与分区策略，这是避免后续性能瓶颈的关键；第三阶段，通过实战案例掌握 Spark 连接 Kudu 的配置方法及读写逻辑。若时间紧张，可优先跳过过于底层的源码解析部分，聚焦于核心 API 的使用与业务逻辑的实现。

实战产出与资料配合指南

完成课程学习后，你将具备独立设计与开发实时数据分析服务的能力。具体表现为：能够根据业务需求设计合理的 Kudu 表结构，编写高效的 Spark SQL 任务以实现数据的实时同步与清洗，并能针对查询性能进行基本的优化与调优。为了最大化学习效果，资料包中的配套练习是不可或缺的一环。请不要仅停留在观看视频层面，务必动手复现每一个代码示例。建议在本地环境或测试集群中，按照课程步骤逐步搭建环境，并尝试修改参数以观察性能变化。通过亲手操作，你才能将理论转化为解决实际问题的能力，真正掌握在广告数据场景中运用 Spark SQL 与 Kudu 的核心技能。

mksz385 - Spark SQL极速入门整合Kudu实现广告业务数据分析

本课程隶属会员库 · MK实战课（一部分是老课） / 课程盒子3-mksz300至399，完整课程目录与配套资料如下。

课程目录

第10章 Spark调优策略/
10-1 课程目录(微信-rmshou-收集整理)[2].mp4
10-2 调优之资源设置(微信-rmshou-收集整理)[2].mp4
10-3 广播变量在Spark中的使用一(微信-rmshou-收集整理)[2].mp4
10-4 广播变量在Spark中是使用二(微信-rmshou-收集整理)[2].mp4
10-5 广播变量思考题(重要)(微信-rmshou-收集整理)[2].mp4
10-6 Shuffle调优(微信-rmshou-收集整理)[2].mp4
10-7 Spark与GC相关概念理解(微信-rmshou-收集整理)[2].mp4
10-8 JVM GC引起的问题调优(微信-rmshou-收集整理)[2].mp4
10-9 其他调优(微信-rmshou-收集整理)[2].mp4
第11章 Presto初识/
11-1 课程目录(微信-rmshou-收集整理)[2].mp4
11-2 Presto是什么&能做什么&谁在使用它(微信-rmshou-收集整理)[2].mp4
11-3 Presto架构(微信-rmshou-收集整理)[2].mp4
11-4 Presto部署(微信-rmshou-收集整理)[2].mp4
11-5 整合MySQL Connector(微信-rmshou-收集整理)[2].mp4
11-6 整合Hive Connector(微信-rmshou-收集整理)[2].mp4
11-7 Presto整合多个Connector操作(微信-rmshou-收集整理)[2].mp4
11-8 Presto API操作(微信-rmshou-收集整理)[2].mp4
第12章 云平台建设的思考/
12-1 课程目录、(微信-rmshou-收集整理)[2].mp4
12-10 Spark和Flink的选择(微信-rmshou-收集整理)[2].mp4
12-2 大数据项目和平台的差异性对比(微信-rmshou-收集整理)[2].mp4
12-3 认知云平台能为我们提供的能力(微信-rmshou-收集整理)[2].mp4
12-5 数据湖架构(微信-rmshou-收集整理)[2].mp4
12-6 数据存储和计算角度剖析(微信-rmshou-收集整理)[2].mp4
12-7 资源角度剖析(微信-rmshou-收集整理)[2].mp4
12-8 兼容性角度剖析(微信-rmshou-收集整理)[2].mp4
12-9 执行引擎和运行方式适配角度剖析(微信-rmshou-收集整理)[2].mp4
第1章 课程介绍&学习指南/
1-1 课程导学(微信-rmshou-收集整理)[2].mp4
第2章 为什么要学Spark/
2-1 课程目录(微信-rmshou-收集整理)[2].mp4
2-10 YARN部署(微信-rmshou-收集整理)[2].mp4
2-11 Hive部署(微信-rmshou-收集整理)[2].mp4
2-12 Spark运行模式(微信-rmshou-收集整理)[2].mp4
2-13 使用IDEA和Maven开发第一个Spark应用程序(微信-rmshou-收集整理)[2].mp4
2-14 词频统计按照单词出现次数的降序排列(微信-rmshou-收集整理)[2].mp4
2-15 local模式下spark-shell的使用(微信-rmshou-收集整理)[2].mp4
2-16 local模式下使用spark-submit提交Spark应用程序(微信-rmshou-收集整理)[2].mp4
2-17 YARN模式下提交Spark应用程序(微信-rmshou-收集整理)[2].mp4
2-18 Standalone模式下提交Spark应用程序(微信-rmshou-收集整理)[2].mp4
2-19 Hadoop和Spark生态圈对比(微信-rmshou-收集整理)[2].mp4
2-2 MapReduce的槽点(微信-rmshou-收集整理)[2].mp4
2-20 Hadoop与Spark对比(微信-rmshou-收集整理)[2].mp4
2-21 Spark和Hadoop的相互协作(微信-rmshou-收集整理)[2].mp4
2-3 Spark特性详解(微信-rmshou-收集整理)[2].mp4
2-4 Spark Stack(微信-rmshou-收集整理)[2].mp4
2-5 OOTB环境的使用(微信-rmshou-收集整理)[2].mp4
2-6 JDK部署(微信-rmshou-收集整理)[2].mp4
2-7 Maven部署(微信-rmshou-收集整理)[2].mp4
2-8 IDEA部署(微信-rmshou-收集整理)[2].mp4
2-9 HDFS部署(微信-rmshou-收集整理)[2].mp4
第3章 Spark SQL快速入门/
3-1 课程目录(微信-rmshou-收集整理)[2].mp4
3-10 spark-shell启动流程分析之uname以及case匹配的使用(微信-rmshou-收集整理)[2].mp4
3-11 spark-shell启动流程分析之dirname和if的使用(微信-rmshou-收集整理)[2].mp4
3-12 spark-shell启动流程分析之传递参数详解(微信-rmshou-收集整理)[2].mp4
3-13 spark-shell启动流程分析之spark-submit(微信-rmshou-收集整理)[2].mp4
3-14 spark-sql启动流程分析(微信-rmshou-收集整理)[2].mp4
3-2 为什么需要SQL(微信-rmshou-收集整理)[2].mp4
3-3 SQL on Hadoop(微信-rmshou-收集整理)[2].mp4
3-4 详解Spark SQL是什么以及常见误区解读(微信-rmshou-收集整理)[2].mp4
3-5 Spark SQL概述(微信-rmshou-收集整理)[2].mp4
3-6 为什么要学习Spark SQL(微信-rmshou-收集整理)[2].mp4
3-7 Spark SQL架构(微信-rmshou-收集整理)[2].mp4
3-8 spark-shell使用详解(微信-rmshou-收集整理)[2].mp4
3-9 spark-sql使用详解并结合讲解Catalyst的执行过程(微信-rmshou-收集整理)[2].mp4
第4章 Spark SQL API编程/
4-1 课程目录(微信-rmshou-收集整理)[2].mp4
4-10 Interoperating with RDD概述(微信-rmshou-收集整理)[2].mp4
4-11 实现方式一(微信-rmshou-收集整理)[2].mp4
4-12 实现方式二(微信-rmshou-收集整理)[2].mp4
4-2 认知SparkSession(微信-rmshou-收集整理)[2].mp4
4-3 了解SQLContext(微信-rmshou-收集整理)[2].mp4
4-4 认识DataFrame(微信-rmshou-收集整理)[2].mp4
4-5 DataFrame API基本使用(微信-rmshou-收集整理)[2].mp4
4-6 DataFrame中前N条的取值方式(微信-rmshou-收集整理)[2].mp4
4-7 通过实战案例学习DataFrame常用API(微信-rmshou-收集整理)[2].mp4
4-8 Dataset概述及操作(微信-rmshou-收集整理)[2].mp4
4-9 DataFrame vs Dataset(微信-rmshou-收集整理)[2].mp4
第5章 Data Source API/
5-1 课程目录(微信-rmshou-收集整理)[2].mp4
5-10 通过统一配置参数管理工程中使用到的参数(微信-rmshou-收集整理)[2].mp4
5-2 Data Source概述(微信-rmshou-收集整理)[2].mp4
5-3 text数据源读写案例(微信-rmshou-收集整理)[2].mp4
5-4 SaveMode的使用详解(微信-rmshou-收集整理)[2].mp4
5-5 json数据源案例(微信-rmshou-收集整理)[2].mp4
5-6 Data Source API标准写法(微信-rmshou-收集整理)[2].mp4
5-7 Parquet数据源案例(微信-rmshou-收集整理)[2].mp4
5-8 Data Source格式转换(微信-rmshou-收集整理)[2].mp4
5-9 jdbc数据源案例(微信-rmshou-收集整理)[2].mp4
第6章 整合Hive操作及函数/
6-1 课程目录【】(微信-rmshou-收集整理)[2].mp4
6-2 Spark对接Hive的原理及实操【】(微信-rmshou-收集整理)[2].mp4
6-3 thriftserver&beeline的使用【】(微信-rmshou-收集整理)[2].mp4
6-4 使用代码连接Server【】(微信-rmshou-收集整理)[2].mp4
6-5 Server模式vs例行作业模式(思考题)【】(微信-rmshou-收集整理)[2].mp4
6-6 hive数据源案例【】(微信-rmshou-收集整理)[2].mp4
6-7 Spark SQL内置函数实战【】(微信-rmshou-收集整理)[2].mp4
6-8 Spark SQL自定义UDF实战【】(微信-rmshou-收集整理)[2].mp4
第7章 Kudu入门/
7-1 课程目录(微信-rmshou-收集整理)[2].mp4
7-2 kudu概述&核心概念&架构(微信-rmshou-收集整理)[2].mp4
7-3 kudu部署(微信-rmshou-收集整理)[2].mp4
7-4 API操作之创建表(微信-rmshou-收集整理)[2].mp4
7-5 API操作之插入数据&删除表&数据查询(微信-rmshou-收集整理)[2].mp4
7-6 API操作之修改表数据及表名(微信-rmshou-收集整理)[2].mp4
7-7 Spark整合Kudu的读写操作~1（微信-rmshou-收集整理）微信-rmshou-收集整理[2].mp4
第8章 基于Spark SQL和Kudu的广告业务项目实战（一）/
8-1 课程目录(微信-rmshou-收集整理)[2].mp4
8-10 需求一之落地到Kudu表重构(微信-rmshou-收集整理)[2].mp4
8-11 需求二功能实现(微信-rmshou-收集整理)[2].mp4
8-12 需求一二代码结构大重构(微信-rmshou-收集整理)[2].mp4
8-2 广告业务背景(微信-rmshou-收集整理)[2].mp4
8-3 项目需求(微信-rmshou-收集整理)[2].mp4
8-4 项目架构及数据处理流程(微信-rmshou-收集整理)[2].mp4
8-5 日志字段说明(微信-rmshou-收集整理)[2].mp4
8-6 需求一之IP规则库解析(微信-rmshou-收集整理)[2].mp4
8-7 需求一之使用API编程完成日志ip字段解析(微信-rmshou-收集整理)[2].mp4
8-8 需求一之使用SQL方式完成日志ip字段解析(微信-rmshou-收集整理)[2].mp4
8-9 需求一之ODS数据落地到Kudu(微信-rmshou-收集整理)[2].mp4
同类型课程.jpg
第9章 基于Spark SQL和Kudu的广告业务项目实战（二）/
9-1 课程目录(微信-rmshou-收集整理)[2].mp4
9-2 需求三之第一阶段统计功能实现(微信-rmshou-收集整理)[2].mp4
9-3 需求三之第二阶段统计功能实现(微信-rmshou-收集整理)[2].mp4
9-4 需求三之统计结果落地到Kudu(微信-rmshou-收集整理)[2].mp4
9-5 需求四功能实现(微信-rmshou-收集整理)[2].mp4
9-6 通过参数传递到Spark作业重构代码并打包(微信-rmshou-收集整理)[2].mp4
9-7 将项目运行在服务器上(微信-rmshou-收集整理)[2].mp4
9-8 定时调度提交Spark作业到服务器运行(微信-rmshou-收集整理)[2].mp4
9-9 本章节小结(微信-rmshou-收集整理)[2].mp4
课程资料/
sparksql极速入门/
代码资料.zip
资料说明u.txt
核对章节.txt

会员可免费下载本篇

查看价格与购买

- Spark SQL极速入门 整合Kudu实现广告业务数据分析

核心场景：解决广告数据的实时读写难题

入门门槛与精准学习路径

实战产出与资料配合指南

课程目录

- Spark SQL极速入门整合Kudu实现广告业务数据分析