飞豹客 · 课能看,资料也能带走
飞豹客体系课

【大数据 Hadoop生态 Spark 2.x 多案例】Spark SQL基础与提升

# Spark SQL 基础与提升:从数据读取到实战分析的完整进阶 在大数据生态系统中,Spark SQL 作为 Spark 的核心组件,凭借其强大的 DataFrame API 和 SQL 兼容性,已成为处理结构化数据的标准工具。本课程【Spark SQL基础与提升】专为希望掌握 Spark 2.

单课价¥39.00新品 上架
会员价¥7.80开通会员,全站课程按会员价下载套餐详情
2 人关注 更新于 2026-10-21 永久有效
发货

网盘链接 · 支付成功后自动发货

保障

永久有效 · 链接失效免费补发

客服

每日 9:00-21:00 在线客服 联系客服

购买本课销量 0 · 永久有效
会员价 · 单课标价 ¥39.00

会员 · 按档位

永久¥19.505折
年¥23.406折
月¥27.307折

游客按标价购买,不享受上表折扣。

支付成功后自动发放网盘链接,链接失效可找客服免费补

正版保障 极速发货 售后无忧

# Spark SQL 基础与提升:从数据读取到实战分析的完整进阶

在大数据生态系统中,Spark SQL 作为 Spark 的核心组件,凭借其强大的 DataFrame API 和 SQL 兼容性,已成为处理结构化数据的标准工具。本课程【Spark SQL基础与提升】专为希望掌握 Spark 2.x 版本的学员设计,内容涵盖从基础操作到高级实战的全链路技能,帮助学习者系统性地构建大数据分析能力。

课程价值与目标

许多大数据学习者容易陷入“只懂理论、不会落地”的困境。本课程通过 19 个精心设计的实战案例,让你在实践中掌握 Spark SQL 的核心技能。你将学会如何高效读取和保存各种格式的数据,如何与 Hive 集成,以及如何编写自定义函数和完成复杂的数据分析任务。无论你是否已有 Spark 基础,本课程都能为你提供一个清晰、可操作的学习路径。

核心内容概览

一、数据源与存储格式的全覆盖(第 1-12 节) 课程首先从 Spark SQL 的概述与发展史讲起,帮助你建立正确的知识框架。随后进入高频实战环节,系统讲解如何读取和写入不同格式的数据。

在**写入端**,你会掌握将分析结果保存为 CSV、JSON、Parquet、HDFS 文本文件以及 MySQL 关系型数据库的具体方法。特别强调 Parquet 列式存储的优势,这是在大规模数据处理中提升性能的关键。

在**读取端**,课程涵盖了从 CSV、JSON、HDFS 文本文件、Parquet 文件,到 MySQL 数据库以及 RDD 转换等多种数据源的处理方式。每种格式都配有详细的代码演示和注意事项,确保你能在实际项目中灵活应对各种数据来源。

二、Hive 集成与元数据管理(第 13-15 节) Hive 是大数据生态中不可或缺的组件,而 Spark SQL 与 Hive 的无缝集成是生产环境中的常见需求。本部分详细讲解 Hive 环境的安装配置,以及如何在 Spark SQL 中共享 Hive 元数据。通过实战操作,你将学会直接读取 Hive 表数据并创建 DataFrame,实现两种计算引擎的数据互通。

三、高级功能与性能优化(第 16-17 节) 为了让你的分析更加灵活,课程深入讲解用户自定义函数(UDF)的编写方法,解决内置函数无法满足的复杂业务逻辑需求。同时,全面梳理 Spark SQL 的常见 API 使用技巧,包括 DataFrame 操作、SQL 查询优化等,帮助你写出更高效、更简洁的分析代码。

四、综合实战:PM2.5 数据分析(第 18-19 节) 理论学习最终要落实到实践。课程后半部分以真实的 PM2.5 空气质量数据集为背景,带你完成一个完整的数据分析项目。从数据加载、清洗、聚合统计到可视化分析,你将亲身体验 Spark SQL 在处理大规模环境数据时的强大能力。这一实战环节不仅巩固了前述所有知识点,更培养了你独立解决复杂数据分析问题的思维模式。

学习建议

建议在动手实践前,先搭建好本地或集群的 Spark 2.x 运行环境。对于每个实战案例,不要仅停留在“看懂代码”的层面,务必亲自敲一遍、跑一遍,观察输出结果,理解每一步操作背后的原理。特别是在读写不同格式数据时,注意对比各格式的优缺点和适用场景,这将成为你日后进行技术选型的重要依据。

掌握 Spark SQL 是成为大数据工程师的重要里程碑。本课程以实战为导向,内容丰富、循序渐进,相信能帮助你打下坚实的技术基础,迈向更广阔的大数据应用领域。

课程目录

课程目录19 集
  • 1 SparkSql概述及发展史 (20:37).mp4
  • 2 【实战】SparkSql2.0结果保存为CSV文件 (14:22).mp4
  • 3 【实战】SparkSql保存结果为json文件 (06:27).mp4
  • 4 【实战】SparkSql保存结果为parquet文件 (11:43).mp4
  • 5 【实战】SparkSql保存结果到hdfs的text文件 (11:12).mp4
  • 6 【实战】Sparksql保存结果到关系型数据库mysql (21:06).mp4
  • 7 【实战】SparkSql读取CSV文件创建dataframe和视图 (12:08).mp4
  • 8 【实战】SparkSql读取json文件创建dataframe和视图 (09:25).mp4
  • 9 【实战】SparkSql使用RDD创建dataframe和视图 (11:06).mp4
  • 10 【实战】SparkSql读取HDFS文本文件创建dataframe和视图 (15:38).mp4
  • 11 【实战】SparkSql读取Parquet文件创建dataframe和视图 (07:37).mp4
  • 12 【实战】SparkSql读取关系型数据库数据创建dataframe和视图 (05:17).mp4
  • 13 【实战】SparkSql读取Hive表数据_Hive环境安装 (20:14).mp4
  • 14 【实战】SparkSql共享Hive元数据配置 (29:58).mp4
  • 15 【实战】SparkSql读取Hive表数据创建dataframe和视图 (07:20).mp4
  • 16 【实战】SparkSql中的UDF用户自定义函数 (08:43).mp4
  • 17 【实战】SparkSql常见的API使用 (23:01).mp4
  • 18 【实战】SparkSql实战之分析PM2.5数据_上 (39:34).mp4
  • 19 【实战】SparkSql实战之pm25数据分析_下 (09:32).mp4