这门课解决什么工作场景
大数据测试针对的是数据仓库与数据湖环境下的质量保障问题。传统业务测试关注前端交互与接口返回,而数据链路一旦进入 ETL 抽取、转换、加载阶段,问题往往隐藏在海量记录的聚合计算与分区裁剪里。课程围绕四个实际场景展开:数据处理测试验证源端到目标表的字段映射与脏数据过滤;数据计算测试检查 SQL 聚合逻辑与指标口径;功能测试覆盖任务调度与任务重跑;性能测试则面对大批量数据下的跑批耗时与资源倾斜。如果你的日常工作已经涉及数仓分层、离线任务或实时计算,但每次校验只能靠手工写几条 SQL 抽查,这门课能帮你把零散的验证动作整理成可复用的测试策略。
适合什么基础与建议先看的模块
资料默认读者具备基本 SQL 能力,最好写过 Hive 或关系型数据库的查询语句,但不要求熟练掌握底层开发。完全没接触过分布式存储的转行者,建议先看基础知识与生态概览部分,把 HDFS、Hive、HBase 的定位与区别弄清楚,再进入数据湖与湖仓一体概念。已有数仓经验的上族可以跳过生态铺垫,直接从概览中段与性能测试漫讲入手,对照自己负责的分层去理解测试断点设在哪里。课程没有把工具库当作重点,而是用概念讲解配场景拆解,听课时建议同步打开一份本地的表结构或调度脚本,边听边在真实环境里验证边界条件。
学完能独立做什么与资料配合方式
学完后,你应该能独立完成一个离线数据任务的质量评估:从需求评审阶段识别指标口径风险,到 ETL 开发后设计字段级与记录级断言,再到跑批后用统计抽样验证结果集。性能层面,你能定位慢任务是否源于数据倾斜、小文件过多或 shuffle 异常,并给出可执行的调优建议。配合资料练习时,建议按三步走:先用概览与生态模块建立全局认知,再针对数据处理与数据计算两块做笔记,记录每个测试类型的输入校验点与输出比对方法;最后把性能测试相关内容反复看两遍,结合自己工作中的跑批日志做对照。不要只看视频不动手,每学完一个测试类型,就找一张真实的宽表或明细表,按课程思路写一份测试用例清单,这样资料才不会停留在概念层面。
数据仓库、数据湖;大数据测试中的功能测试、性能测试、数据处理测试、数据计算测试;ETL
课程目录
* 01 大数据基础知识/
* 01 大数据性能测试漫讲.mp4 (77.57 MB), 18:14
* 02 大数据测试课程介绍.mp4 (91.88 MB), 22:23
* 03 概览-(上).mp4 (159.89 MB), 27:46
* 04 概览-(中).mp4 (164.20 MB), 28:58
* 05 概览-(下).mp4 (22.12 MB), 09:35
* 06 数据湖.mp4 (40.09 MB), 07:58
* 07 数据仓.mp4 (70.00 MB), 14:23
* 08 湖仓一体化及其他关键词.mp4 (105.45 MB), 25:53
* 09 HDFS-HIVE-HBASE区别.mp4 (67.04 MB), 15:29
* 10 大数据技术生态.mp4 (89.46 MB), 21:34
* 11 公有云与私有云.mp4 (86.43 MB), 22:42
* 12 大数据项目实施流程(一).mp4 (95.96 MB), 23:12
* 13 数据实施流程-(二).mp4 (59.07 MB), 17:50
* 14 大数据基础知识总结.mp4 (14.69 MB), 06:24
* 02 大数据测试方案/
* 01 大数据测试-概述-.mp4 (55.29 MB), 18:12
* 02 ETL测试简介.mp4 (51.47 MB), 14:10
* 03 ETL测试方案.mp4 (159.99 MB), 48:20
* 04 业务数据&元数据测试.mp4 (41.80 MB), 17:27
* 05 其他数据测试.mp4 (97.40 MB), 22:50
* 06 数据测试示例.mp4 (183.10 MB), 35:13
* 07 示例:数据有效性.mp4 (47.82 MB), 10:35
* 08 示例:数据唯一性.mp4 (44.49 MB), 08:03
* 09 示例:数据规范性.mp4 (38.47 MB), 07:22
* 10 示例:数据关联性、分布性.mp4 (51.13 MB), 09:11
* 11 数据质量评估.mp4 (115.17 MB), 24:31
* 12 大数据测试方案总结.mp4 (15.70 MB), 06:03






