这门课解决什么工作场景

大数据测试针对的是数据仓库与数据湖环境下的质量保障问题。传统业务测试关注前端交互与接口返回,而数据链路一旦进入 ETL 抽取、转换、加载阶段,问题往往隐藏在海量记录的聚合计算与分区裁剪里。课程围绕四个实际场景展开:数据处理测试验证源端到目标表的字段映射与脏数据过滤;数据计算测试检查 SQL 聚合逻辑与指标口径;功能测试覆盖任务调度与任务重跑;性能测试则面对大批量数据下的跑批耗时与资源倾斜。如果你的日常工作已经涉及数仓分层、离线任务或实时计算,但每次校验只能靠手工写几条 SQL 抽查,这门课能帮你把零散的验证动作整理成可复用的测试策略。

适合什么基础与建议先看的模块

资料默认读者具备基本 SQL 能力,最好写过 Hive 或关系型数据库的查询语句,但不要求熟练掌握底层开发。完全没接触过分布式存储的转行者,建议先看基础知识与生态概览部分,把 HDFS、Hive、HBase 的定位与区别弄清楚,再进入数据湖与湖仓一体概念。已有数仓经验的上族可以跳过生态铺垫,直接从概览中段与性能测试漫讲入手,对照自己负责的分层去理解测试断点设在哪里。课程没有把工具库当作重点,而是用概念讲解配场景拆解,听课时建议同步打开一份本地的表结构或调度脚本,边听边在真实环境里验证边界条件。

学完能独立做什么与资料配合方式

学完后,你应该能独立完成一个离线数据任务的质量评估:从需求评审阶段识别指标口径风险,到 ETL 开发后设计字段级与记录级断言,再到跑批后用统计抽样验证结果集。性能层面,你能定位慢任务是否源于数据倾斜、小文件过多或 shuffle 异常,并给出可执行的调优建议。配合资料练习时,建议按三步走:先用概览与生态模块建立全局认知,再针对数据处理与数据计算两块做笔记,记录每个测试类型的输入校验点与输出比对方法;最后把性能测试相关内容反复看两遍,结合自己工作中的跑批日志做对照。不要只看视频不动手,每学完一个测试类型,就找一张真实的宽表或明细表,按课程思路写一份测试用例清单,这样资料才不会停留在概念层面。


数据仓库、数据湖;大数据测试中的功能测试、性能测试、数据处理测试、数据计算测试;ETL

课程目录

*   01 大数据基础知识/

  *   01 大数据性能测试漫讲.mp4 (77.57 MB), 18:14

  *   02 大数据测试课程介绍.mp4 (91.88 MB), 22:23

  *   03 概览-(上).mp4 (159.89 MB), 27:46

  *   04 概览-(中).mp4 (164.20 MB), 28:58

  *   05 概览-(下).mp4 (22.12 MB), 09:35

  *   06 数据湖.mp4 (40.09 MB), 07:58

  *   07 数据仓.mp4 (70.00 MB), 14:23

  *   08 湖仓一体化及其他关键词.mp4 (105.45 MB), 25:53

  *   09 HDFS-HIVE-HBASE区别.mp4 (67.04 MB), 15:29

  *   10 大数据技术生态.mp4 (89.46 MB), 21:34

  *   11 公有云与私有云.mp4 (86.43 MB), 22:42

  *   12 大数据项目实施流程(一).mp4 (95.96 MB), 23:12

  *   13 数据实施流程-(二).mp4 (59.07 MB), 17:50

  *   14 大数据基础知识总结.mp4 (14.69 MB), 06:24

*   02 大数据测试方案/

  *   01 大数据测试-概述-.mp4 (55.29 MB), 18:12

  *   02 ETL测试简介.mp4 (51.47 MB), 14:10

  *   03 ETL测试方案.mp4 (159.99 MB), 48:20

  *   04 业务数据&元数据测试.mp4 (41.80 MB), 17:27

  *   05 其他数据测试.mp4 (97.40 MB), 22:50

  *   06 数据测试示例.mp4 (183.10 MB), 35:13

  *   07 示例:数据有效性.mp4 (47.82 MB), 10:35

  *   08 示例:数据唯一性.mp4 (44.49 MB), 08:03

  *   09 示例:数据规范性.mp4 (38.47 MB), 07:22

  *   10 示例:数据关联性、分布性.mp4 (51.13 MB), 09:11

  *   11 数据质量评估.mp4 (115.17 MB), 24:31

  *   12 大数据测试方案总结.mp4 (15.70 MB), 06:03