广告数仓项目：从业务到可视化的完整闭环
在数字化转型的浪潮中，广告数据仓库已成为连接业务与技术的核心枢纽。本课程以广告主投放到媒体平台的实际业务为切入点，系统讲解如何收集管理平台数据及媒体平台发送的广告曝光点击次数，并进行深度分析与统计，最终实现可视化报表展示。通过这六个关键模块——广告业务详情、数仓建模原理、集群部署与环境的搭建、数据分析及ETL完整流程、DolphinScheduler全流程调度以及FineBI可视化大屏展示——学习者能够构建一套完整的数仓项目体系，即使在家中部署本地虚拟机也能完成全部流程。这种从理论到实践全方位覆盖的学习路径，为学员提供了一个既深入又实用的平台，帮助他们全面掌握广告数仓的开发流程。
谁该学这门课？学完能独立做什么？
对于希望系统学习数据仓库技能的职场人士和转行者来说，本课程提供了从零开始到独立开发数仓项目的机会，涵盖了理论基础与实际操作，并借助现代工具如DolphinScheduler和FineBI提升数据处理与呈现能力。具体而言：
**适合人群：**
- **有一定基础的数据分析师或程序员**：希望掌握广告领域数仓开发，拓展专业技能。
- **刚入门的数据行业新手**：寻求从理论到实践的系统性指导，构建完整的项目经验。
- **对广告业务有兴趣的技术人员**：希望通过实战项目加深理解，提升竞争力。
课程不预设先决条件，只要具备基本的计算机操作能力和对数据处理的兴趣即可入手。无论是想深入了解广告数据运作机制，还是提升自身在数据行业的就业竞争力，本课程都能提供全面的支持。
**学完能做什么：**
完成本课程后，学员将具备以下能力：
1. **独立完成数仓项目搭建**：包括集群部署、环境配置、ETL流程设计及全流程调度。
2. **精通可视化报表制作**：使用FineBI等工具实现数据直观展示。
3. **理解广告业务逻辑**：掌握广告主投放到媒体平台的运作机制。
4. **解决实际问题**：能够根据业务需求进行数据分析与统计。
这些技能不仅有助于在广告数据领域找到理想职位，还能在数据分析、商业智能等多个方向开拓职业道路。
资料怎么配合练习？建议先看哪几块？
为了最大化学习效果，建议学习者按照以下步骤使用课程资料：
1. **先攻基础模块**：
- **广告业务详情介绍**和**数仓建模原理介绍**：建立理论框架，理解广告数仓的核心概念和建模方法。
2. **再动手实践**：
- **数仓集群部署和环境搭建**：按照指导，在本地虚拟机中部署集群，熟悉开发环境。
- **数仓数据分析及ETL完整流程**：实践数据采集、清洗、转换和加载的关键步骤。
3. **后攻高级技能**：
- **DolphinScheduler全流程调度**：学习如何自动化调度和管理任务。
- **FineBI可视化大屏展示**：掌握数据可视化技巧，制作专业报表。
建议在学习每个模块时，结合课程提供的代码示例和文档资料，边学边练，确保理论与实践相结合。通过这样系统性的学习路径，您将能够逐步掌握广告数仓开发的各个环节，最终具备独立开发完整项目的能力。
课程目录
大数据.png (88. 86 KB, ) 2023-4-26 18: 12 上传 课程介绍： 广告数仓项目以广告主投放到媒体平台为业务基础，收集管理平台数据及媒体平台发送的广告曝光点击次数之后，进行数据分析与统计，最终实现可视化报表展示。 项目共分六大部分：广告业务详情介绍、数仓建模原理介绍、数仓集群部署和环境搭建、数仓数据分析及ETL完整流程、DolphinScheduler全流程调度、FineBI可视化大屏展示，是一套完整的数仓项目，学习者部署本地虚拟机即可实现全部项目流程。 课程目录： 01_广告数仓项目介绍 02_广告业务相关概念介绍 03_广告系统架构介绍 04_广告系统项目需求 05_广告数仓整体架构 06_维度模型介绍 07_三种事实表原理介绍 08_维度表设计介绍 09_数仓分层规划 10_广告数仓整体设计流程 11_数据调研具体介绍 12_广告数据具体架构设计 13_模板机准备 14_克隆三台虚拟机 15_分发脚本和免密登录配置 16_jdk的安装部署 17_环境变量位置介绍 18_hadoop的配置安装 19_hadoop的群起群停 20_广告管理平台数据介绍 21_mysql的安装部署 22_mysql的广告管理平台数据导入 23_曝光点击监测数据生成方法 24_datax的简单介绍 25_datax的使用和优化方法介绍 26_datax演示同步mysql数据到hdfs 27_datax动态传参功能介绍 28_datax脚本同步广告管理平台数据 29_zookeeper安装部署 30_kafka的安装部署 31_kafka命令行的简单介绍 32_flume的安装部署 33_flume采集数据发送到kafka的演示 34_flume采集日志脚本群起 35_采集数据乱码处理方法 36_flume消费kafka数据的配置文件编写 37_flume消费者时间戳拦截器编写 38_flume消费者使用演示-06-16 39_flume消费者的启动停止脚本 40_hive的安装部署 41_hive替换spark引擎展示 42_yarn环境设置运行多个spark任务 43_数仓开发环境dataGrap部署 44_ods_广告管理平台数据导入 45_ods_曝光点击日志装载及脚本导入 46_dim_维度数据导入 47_dwd_需求分析 48_dwd_初步解析用户日志 49_dwd_对ua进行解码操作 50_dwd_ip解析方案介绍 51_dwd_本地磁盘解析ip方法介绍 52_dwd_自定义udf函数解析ip结构介绍 53_dwd_自定义udf函数解析ip检验参数 54_dwd_自定义udf函数加载静态库到内存 55_dwd_自定义udf函数解析ip处理数据 56_dwd_自定义udf函数解析ip实际应用 57_dwd_自定义udf函数解析ua 58_dwd_自定义ua解析实际操作 59_dwd_异常流量标记之爬虫ua 60_dwd_异常流量过滤ip访问过快 61_dwd_异常流量相同周期访问超过5次 62_dwd_异常流量设备id过滤准备 63_dwd_标记异常流量并做维度退化 64_dwd_脚本装载dwd层数据 65_数据导出clickhouse安装准备工作 66_数据导出clickhouse安装部署 67_数据导出_使用sparksql读取hive数据导出到clickhouse 68_数据导出代码编写 69_数据导出实操 70_ds调度器简单介绍 71_ds的安装部署 72_ds的安全中心介绍 73_ds的简单项目展示 74_ds的参数传递 75_ds的内置参数引入依赖和告警功能展示 76_采集新一天的数据 77_ds调度新一天的数据处理 78_fineBI可视化介绍及安装部署 79_fineBI可视化展示官方案例展示 80_fineBI扩展功能介绍 81_可视化实战数据导入 82_可视化实战省份平台操作系统粒度图表创建 83_可视化仪表盘操作 84_数仓项目总结
