从静态报表到实时指标的业务跨越
传统离线数仓解决的是“昨天发生了什么”的问题，而本课程直击的是“现在正在发生什么”的痛点。它并非泛泛而谈的大数据理论课，而是基于“线上问诊”这一具体医疗业务场景，构建完整的全链路实时数据仓库。对于从事数据分析或后端开发的人员而言，这套体系能帮你跳出单纯堆砌 Hadoop 组件的误区，真正理解如何从流式日志中抽取、清洗、聚合数据，并转化为可落地的业务指标。课程核心在于打通“采集-计算-展示”的闭环，重点展示如何实时监控问诊量、响应时长等关键 KPI，让数据价值在分钟级甚至秒级得到体现，而非滞后一天的 T+1 报表。
架构设计与模型搭建的核心逻辑
这门课的技术骨架由三部分组成：实时架构选型、数仓模型设计、可视化大屏对接。它假设读者已具备一定的大数据基础，熟悉虚拟机环境的部署，且了解前置的日志采集流程。因此，它不适合零基础小白从头学起，而是为那些已经跑通过离线数仓项目、但希望进阶到实时领域的从业者设计的。你需要重点关注其中的模型搭建环节，理解分层架构在实时场景下的差异——比如在明细层如何处理乱序数据，在汇总层如何保证数据的一致性。这部分内容比单纯配置 Flink 或 Kafka 更具含金量，它揭示了业务逻辑如何映射到技术实现，是区分“工具使用者”和“架构设计者”的关键所在。
落地建议与配套练习方法
建议的学习路径是“先跑通环境，再抠代码细节”。首先，利用资料包中的虚拟机脚本快速搭建基础环境，确保能读取到模拟的实时问诊日志流，这是后续所有分析的燃料。接着，不要急于看大屏效果，先深入数仓模型章节，手动推导指标的计算逻辑，尝试在代码中修改聚合窗口或过滤条件，观察对结果的影响。资料包中的代码需配合实时消息队列的调试日志一起阅读，重点关注异常处理和数据倾斜的应对策略。学完这一部分，你应能独立负责一个中小型业务的实时指标开发，具备从需求分析到最终可视化的完整交付能力，而不仅仅是维护现成的看板。这种实战能力在招聘市场中远胜于罗列技术名词。
课程目录
时尚书记处.png (75. 53 KB, ) 2023-8-17 11: 29 上传 课程介绍： 线上问诊实时数仓项目共分三大部分：实时数仓架构介绍、数仓模型搭建、Suger可视化大屏展示。项目以线上问诊采集项目为前置基础，使用采集项目中搭建的虚拟机环境，读取采集项目实时监控的业务数据，对数据进行实时的分析计算，最终得到指标需求结果。 课程目录： 大数据项目之线上问诊实时数仓 资料.zip 代码.zip 笔记.zip 01_线上问诊实时数仓课程介绍.mp4 24.3M2023-08-17 00:24 02_采集项目数据采集回顾.mp4 96.4M2023-08-17 00:24 03_线上问诊实时数仓概念介绍.mp4 04_线上问诊实时数仓核心架构介绍.mp4 05_实时数仓架构的具体操作流程.mp4 06_数仓建模ER模型介绍.mp4 07_数仓建模ER模型三范式介绍.mp4 08_数仓建模维度模型介绍.mp4 09_维度建模事实表简单概述.mp4 10_维度建模事务型事实表介绍.mp4 11_维度建模周期快照事实表.mp4 12_维度建模累积快照事实表.mp4 13_维度建模维度表设计流程.mp4 14_维度表设计规范化和反规范化.mp4 15_维度表设计维度变化的选择.mp4 16_维度表设计多值维度和多值属性.mp4 17_数仓分层规划.mp4 18_数仓构建流程简单介绍.mp4 19_数仓数据调研介绍.mp4 20_数仓分配数据域.mp4 21_数仓构建业务总线矩阵及维度模型设计.mp4 22_数仓指标体系分析.mp4 23_idea开发环境准备.mp4 24_flink的环境准备.mp4 25_hbase的环境部署.mp4 26_redis的环境部署.mp4 27_doris的fe部署.mp4 28_doris的be集群安装部署.mp4 29_doris的be集群bug解决.mp4 30_ods_使用kafka存储原始数据.mp4 31_dim_实时监控实现动态配置维度表元数据信息原理介绍.mp4 32_flinkCDC测试代码编写.mp4 33_dim_整体代码结构介绍.mp4 34_dim_流式环境创建的方法封装.mp4 35_dim_读取kafka主流ods层数据.mp4 36_dim_读取配置表数据.mp4 37_dim_封装hbase获取同步连接.mp4 38_dim_创建hbase中的维度表.mp4 39_dim_处理合并流完成主流过滤维度表的操作.mp4 40_dim_写出维度表数据到hbase.mp4 41_dim_维度表代码测试及整体逻辑回顾.mp4 42_dwd_flinkSQL的使用方法.mp4 43_dwd_使用flinkSQL读取ods层数据.mp4 44_dwd_问诊事实表筛选数据.mp4 45_dwd_问诊事务事实表数据写出.mp4 46_dwd_问诊支付成功事实表代码编写及演示.mp4 47_dwd_处方事实表代码编写.mp4 48_dwd_处方事实表数据测试.mp4 49_dwd_interval_join的原理介绍.mp4 50_dwd_处方开单支付事务事实表编写及测试.mp4 51_dwd_用户注册事务事实表.mp4 52_dwd_新增患者事务事实表.mp4 53_dwd_医生注册事务事实表.mp4 54_dws_医院性别年龄粒度问诊聚合需求介绍.mp4 55_dws_读取dwd层数据并转换结构.mp4 56_dws_使用异步连接优化维度关联.mp4 57_dws_旁路缓存优化介绍.mp4 58_dws_实现维度关联的抽象类设计.mp4 59_dws_实现医院id和患者信息的维度关联.mp4 60_dws_开窗聚合问诊次数及问诊金额代码及演示.mp4 61_dws_修复补全维度信息.mp4 62_dws_将javaBean保留需要的字段转换为jsonString.mp4 63_dws_doris写出工具类编写.mp4 64_dws_写出数据到doris演示.mp4 65_dws_问诊支付成功窗口聚合.mp4 66_dws_处方开单窗口聚合.mp4 67_dws_处方开单支付窗口聚合.mp4 68_dws_用户注册的窗口聚合.mp4 69_dws_患者添加窗口聚合.mp4 70_dws_医生注册窗口汇总.mp4 71_dws_医院粒度评价表使用状态找出新增评价.mp4 72_dws_医院粒度评价导出数据.mp4 73_大屏可视化流程介绍.mp4 74_大屏可视化内网穿透展示.mp4 75_sugerBI实现可视化展示.mp4 大数据项目线上问诊离线数仓 01-数据采集课程内容介绍.mp4 02-数据仓库的概念.mp4 03-数据仓库的架构.mp4 04-项目需求分析.mp4 05-技术选型.mp4 06-系统数据流程设计.mp4 07-框架版本的选择.mp4 08-服务器的选型.mp4 09-集群规模.mp4 10-集群规模设计.mp4 100-医生维度表建表.mp4 101-医生维度表数据加载.mp4 102-医院维度表建表和数据加载.mp4 103-药品维度表建表和数据加载.mp4 104-患者维度表建表和数据加载.mp4 105-用户维度表建表和数据加载.mp4 106-dim层数据加载脚本.mp4 107-事实表建模理论回顾.mp4 108-DWD层设计要点.mp4 109-问诊事务型事实表建表.mp4 11-业务数据说明.mp4 110-问诊事实表首日数据加载.mp4 111-问诊事实表每日数据加载.mp4 112-问诊支付成功事实表建表和首日加载.mp4 113-问诊支付成功事实表每日数据加载.mp4 114-处方开单事实表建表和首日数据加载.mp4 115-处方开单事实表每日数据加载.mp4 116-处方支付成功事实表建表和首日数据加载.mp4 117-处方支付成功事实表每日数据加载.mp4 118-医生注册事实表建表和首日数据加载.mp4 119-医生注册事实表每日数据加载.mp4 12-虚拟机安装配置.mp4 120-用户注册事实表建表和数据加载.mp4 121-患者登记事实表建表和数据加载.mp4 122-用户评价事实表建表和数据加载.mp4 123-dwd首日数据加载脚本.mp4 124-dwd每日数据加载脚本.mp4 125-dws设计要点.mp4 126-医院患者性别年龄段问诊最近1日汇总表mp4.mp4 127-医院患者性别年龄段问诊支付成功最近1日汇总表.mp4 128-医院患者性别年龄段处方开单最近1日汇总表.mp4 129-医院患者性别年龄段处方开单支付成功最近1日汇总表.mp4 13-集群分发脚本.mp4 130-医生粒度问诊最近1日汇总表.mp4 131-dws 1d首日数据加载脚本.mp4 132-dws 1d每日数据加载脚本.mp4 133-交易域医院患者性别年龄段粒度问诊最近n日汇总表.mp4 134-交易域医院患者性别年龄段粒度问诊支付成功最近n日汇总表.mp4 135-交易域医院患者性别年龄段粒度处方开单最近n日汇总表.mp4 136-交易域医院患者性别年龄段粒度处方开单支付成功最近n日汇总表.mp4 137-交易域医生粒度问诊最近n日汇总表.mp4 138-dws nd数据加载脚本.mp4 139-交易域医生粒度问诊历史至今汇总表.mp4 14-安装jdk.mp4 140-互动域医院用户粒度用户评价历史至今汇总表.mp4 141-互动域医院粒度用户评价历史至今汇总表.mp4 142-dws td首日数据加载脚本.mp4 143-dws td每日数据加载脚本.mp4 144-ads层设计要点.mp4 145-交易综合统计.mp4 146-各医院交易统计.mp4 147-各性别患者交易统计.mp4 148-各年龄段患者交易统计.mp4 149-医生变动统计.mp4 15-环境变量配置说明.mp4 150-用户变动统计.mp4 151-评价综合统计.mp4 152-各医院评价统计.mp4 153-ads数据加载脚本.mp4 154-mysql建库建表.mp4 155-将数据从hdfs导入到mysql演示.mp4 156-生成datax配置文件.mp4 157-ads导数据到Mysql脚本.mp4 158-dolphinscheduler简介.mp4 159-dolphinscheduler部署说明.mp4 16-查看进程脚本.mp4 160-安装dolphinscheduler.mp4 161-安全中心配置.mp4 162-定义工作流与执行工作流.mp4 163-定时调度.mp4 164-局部参数.mp4 165-全局参数.mp4 166-参数传递.mp4 167-参数的优先级.mp4 168-内置参数.mp4 169-引用依赖资源.mp4 17-安装hadoop-配置集群.mp4 170-告警通知.mp4 171-失败重试.mp4 172-生成新数据.mp4 173-数仓工作流调度.mp4 174-superset简介.mp4 175-安装superset.mp4 176-superset启动脚本.mp4 177-superset可视化.mp4 178-总结.mp4 18-安装hadoop-配置历史服务器.mp4 19-hadoop群起脚本.mp4 20-hdfs存储多目录.mp4 21-集群数据均衡.mp4 22-hadoop参数调优.mp4 23-安装zookeeper.mp4 24-zookeeper启动脚本.mp4 25-zookeeper常用指令.mp4 26-安装kafka.mp4 27-kafka群起脚本.mp4 28-kafka常用指令-topic相关.mp4 29-kafka常用指令-生产者和消费者相关.mp4 30-flume安装与项目经验.mp4 31-安装mysql.mp4 32-模拟生成数据.mp4 33-客户端连接异常问题.mp4 34-maxwell简介.mp4 35-mysql原理.mp4 36-安装maxwell.mp4 37-maxwell启动脚本.mp4 38-maxwell数据同步.mp4 39-同步策略.mp4 40-数据同步工具.mp4 41-datax简介和框架设计.mp4 42-datax运行流程.mp4 43-datax调度思路.mp4 44-datax与sqoop的对比.mp4 45-datax安装.mp4 46-将数据从mysql导入到hdfs-tableMode模式.mp4 47-将数据从mysql导入到hdfs-querysql模式.mp4 48-datax传参.mp4 49-将数据从hdfs导入到mysql.mp4 50-datax优化.mp4 51-datax配置文件生成.mp4 52-全量表数据同步脚本.mp4 53-flume配置01.mp4 54-flume配置02.mp4 55-增量表首日同步.mp4 56-flume启动停止脚本.mp4 57-安装hive.mp4 58-在线就诊数仓项目简介.mp4 59-数仓的概念.mp4 60-数仓架构.mp4 61-建模的意义.mp4 62-ER模型.mp4 63-维度模型.mp4 64-事实表介绍.mp4 65-事务型事实表概述.mp4 66-事务型事实表的设计流程.mp4 67-事务型事实表的不足.mp4 68-事务型事实表的不足.mp4 69-周期型快照事实表的概念.mp4 70-周期型快照事实表设计与事实类型.mp4 71-累积型快照事实表.mp4 72-维度表设计.mp4 73-规范化与反规范化.mp4 74-全量快照维度表.mp4 75-拉链表.mp4 76-多值维度.mp4 77-多值属性.mp4 78-数据仓库的分层.mp4 79-数仓的构建流程.mp4 80-数据调研.mp4 81-明确数据域.mp4 82-业务总线矩阵.mp4 83-明确统计指标.mp4 84-维度模型与汇总模型设计.mp4 85-hive引擎简介.mp4 86-hive on spark兼容性说明.mp4 87-搭建hive on spark.mp4 88-ApplicationMaster资源比例调整.mp4 89-datagrip使用.mp4 90-模拟产生数据.mp4 91-hive常见问题和解决方案.mp4 92-ods层设计要点.mp4 93-全量表建表.mp4 94-复杂数据类型回顾.mp4 95-json数据建表.mp4 96-增量表建表.mp4 97-ods数据加载脚本.mp4 98-维度表建模理论回顾.mp4 99-dim层设计要点.mp4
