智慧学成项目将大数据技术应用于在线教育领域，从海量的用户行为数据中进行挖掘分析，分析用户的学习行为、学习质量等指标，为企业经营提供数据支撑。

*   第一章 智慧学成-项目介绍环境搭建/

  *   项目介绍（智慧学成学习资料在此下载~）/

    *   01-项目介绍-学习目标&项目背景和概述

    *   02-项目介绍-业务流程

    *   03-项目介绍-功能模块

    *   04-项目介绍-技术架构

  *   环境搭建/

    *   05-环境搭建-学习目标&CDH组件介绍

    *   06-环境搭建-CDH环境搭建

    *   07-环境搭建-配置hosts

    *   08-环境搭建-配置Maven

    *   09-环境搭建-IDEA环境配置

    *   10-环境搭建-导入Scala基础工程&基础工程介绍

    *   11-环境搭建-wordcount代码编写及idea代码测试

    *   12-环境搭建-wordcount任务提交到集群执行

    *   13-Zeppelin简介、Zeppelin调式Spark程序

    *   14-Hue简介、Hue操作hive及hdfs

*   第二章 智慧学成-数据仓库与ETL/

  *   数据仓库/

    *   15-数据仓库-学习目标、数据仓库介绍

    *   16-数据仓库-数据仓库的特点

    *   17-数据仓库-维度分析

    *   18-数据仓库-数据仓库建模

    *   19-数据仓库-Hive创建数据仓库

  *   ETL/

    *   01-ETL-学习目标

    *   02-ETL-ETL介绍

  *   课程访问量需求分析/

    *   03-ETL-课程访问量需求分析-

  *   采集系统/

    *   04-ETL-采集系统介绍

    *   05-ETL-采集系统搭建

    *   06-ETL-采集系统-测试采集课程访问量

  *   NiFi/

    *   07-ETL-NiFi介绍

    *   08-ETL-快速入门

  *   维度数据采集/

    *   09-ETL-维度数据采集-维度介绍-

    *   10-ETL-维度数据采集-导入学成在线业务数据

    *   11-ETL-维度数据采集-导入NiFi源码&执行采集

    *   12-ETL-维度数据采集-注意事项-NiFi采集乱码处理

    *   13-ETL-维度数据采集-区域维度原文件上传HDFS&spark读取文件

    *   14-ETL-维度数据采集-区域维度原文件数据与实体映射

    *   15-ETL-维度数据采集-区域维度字段关联及区域维度数据入库

    *   16-ETL-维度数据采集-区域维度-注意事项：winutils配置

  *   课程访问量-数据清洗/

    *   01-ETL-数据清洗-课程访问量事实表字段介绍&清洗逻辑介绍

    *   02-ETL-数据清洗-课程访问量清洗-获取维度数据&原始数据

    *   03-ETL-数据清洗-课程访问量清洗-过滤机器人&关联维度

    *   04-ETL-数据清洗-课程访问量清洗-去重&保存到数据仓库

    *   05-ETL-数据清洗-课程访问量清洗-测试

    *   06-ETL-数据清洗-课程访问量清洗-使用NiFi生产数据并测试

*   第三章 智慧学成-课程分析/

  *   课程访问量-统计分析/

    *   07-课程分析-学习目标

    *   08-课程分析-课程访问量分析-功能概述&统计分析步骤

    *   09-课程分析-课程访问量分析-步骤1：读取课程访问量事实表数据

    *   10-课程分析-课程访问量分析-步骤2：课程访问量统计求和

    *   11-课程分析-课程访问量分析-步骤3：课程访问量统计结果保存数据仓库

    *   12-课程分析-课程访问量分析-使用NiFi将课程访问量分析结果同步到MySQl

    *   13-课程分析-课程访问量分析-集成测试概述

    *   14-课程分析-课程访问量分析-集成测试-数据清洗统计分析NiFi调度

    *   15-课程分析-课程访问量分析-集成测试-联动（清洗、统计分析、同步到业务库）配置并测试

  *   业务报表系统搭建/

    *   16-业务报表系统搭建-Web前端使用说明&Yapi使用说明

    *   17-业务报表系统搭建-使用业务后台接口展示业务报表

  *   课程购买量-需求分析/

    *   01-课程分析-课程购买量-需求分析

  *   课程购买量-数据采集/

    *   02-课程分析-课程购买量-采集字段及存储分析

    *   03-课程分析-课程购买量-MySQL采集注意事项

    *   04-课程分析-课程购买量-NiFi采集MySQL配置

    *   05-课程分析-课程购买量-测试NiFi采集MySQL

    *   06-课程分析-课程购买量-NiFi生产订单数据保存到MySQL&并进行实时采集

  *   课程购买量-数据清洗/

    *   07-课程分析-课程购买量-数据清洗-DWD（事实表）结构分析

    *   08-课程分析-课程购买量-数据清洗-用户维度采集

  *   课程购买量-统计分析/

    *   09-课程分析-课程购买量-DWD代码-维度数据获取

    *   10-课程分析-课程购买量-DWD代码-事实表数据封装

    *   11-课程分析-课程购买量-DWD代码-保存到数据仓库

    *   12-课程分析-课程购买量-DWD代码-测试清洗入库

    *   13-课程分析-课程购买量-DWM层结构分析

    *   14-课程分析-课程购买量-DWM代码-轻度聚合封装数据

    *   15-课程分析-课程购买量-DWM代码-保存到数据仓库&测试入库

    *   16-课程分析-课程购买量-统计分析

    *   17-课程分析-课程购买量-使用NiFi将业务数据从数据仓库同步到MySQL

  *   课程购买量-集成测试/

    *   18-课程分析-课程购买量-集成测试-概述&NiFi调度数据清洗分析任务

    *   19-课程分析-课程购买量-集成测试-联动配置&整流程测试

  *   热门学科排名-需求分析/

    *   01-热门学科排名-需求分析

    *   02-热门学科排名-业务报表系统字段分析

  *   热门学科排名-用户选课-数据采集/

    *   03-热门学科排名-采集字段及存储分析

    *   04-热门学科排名-NiFi采集用户选课数据&测试

    *   05-热门学科排名-NiFi生产用户选课数据保存到MySQL&并进行实时采集

  *   热门学科排名-用户选课-数据清洗/

    *   06-热门学科排名-用户选课DWD层字段说明&清洗分析

    *   07-热门学科排名-用户选课-DWD代码-获取维度数据&用户选课原始数据

    *   08-热门学科排名-用户选课-DWD代码-事实表数据封装&保存到数据仓库

    *   09-热门学科排名-用户选课-DWD代码-测试清洗入库

  *   热门学科排名-维度数据采集/

    *   10-热门学科排名-统计分析概述&课程分类维度采集

  *   热门学科排名-统计分析/

    *   11-热门学科排名-统计分析-销售量-周-统计分析步骤

    *   12-热门学科排名-统计分析-销售量-周-代码-获取周区间日期

    *   13-热门学科排名-统计分析-销售量-周-代码-根据日期获取数据并计算涨幅

    *   14-热门学科排名-统计分析-销售量-周-代码-维度关联&保存到数据仓库

    *   15-热门学科排名-统计分析-销售量-周-代码-抽取工具类&测试入库

    *   16-热门学科排名-统计分析-销售量-月-统计分析步骤及代码编写

    *   17-热门学科排名-统计分析-销售量-月-测试入库

    *   18-热门学科排名-统计分析-学生人数-周-统计分析步骤

    *   19-热门学科排名-统计分析-学生人数-周-代码-获取周区间&获取数据&计算涨幅

    *   20-热门学科排名-统计分析-学生人数-周-代码-维度关联&保存到数据仓库

    *   21-热门学科排名-统计分析-学生人数-周-代码-抽取工具类&测试入库

    *   22-热门学科排名-统计分析-学生人数-月-统计分析步骤&代码编写

    *   23-热门学科排名-统计分析-学生人数-月-测试入库

    *   24-热门学科排名-统计分析-销售额-周-统计分析步骤&代码编写

    *   25-热门学科排名-统计分析-销售额-周-测试入库

    *   26-热门学科排名-统计分析-销售额-月-统计分析步骤&代码编写

    *   27-热门学科排名-统计分析-销售额-月-测试入库

    *   28-热门学科排名-统计分析-使用NiFi将业务数据从数据仓库同步到MySQL

  *   热门学科排名-集成测试/

    *   29-热门学科排名-集成测试-配置NiFi调度数据清洗分析任务

    *   30-热门学科排名-集成测试-测试NiFi调度数据清洗分析

    *   31-热门学科排名-集成测试-联动配置&测试

    *   32-热门学科排名-集成测试-报表系统Web展示

*   第四章 智慧学成-平板看台/

  *   实时分析-需求分析/

    *   01-实时分析-学习目标

    *   02-实时分析-平台看板需求分析&实时分析应用场景

    *   03-实时分析-实时分析技术方案

    *   04-实时分析-指标与维度分析&数据存储分析

  *   实时分析-今日访问量-数据采集/

    *   05-实时分析-今日访问量-概述&数据采集

  *   实时分析-今日访问量统计分析/

    *   06-实时分析-今日访问量-统计分析逻辑

    *   07-实时分析-今日访问量-代码-redis获取kafka的offset

    *   08-实时分析-今日访问量-代码-SparkStreaming获取kafka中的数据

    *   09-实时分析-今日访问量-代码-去重计算实时访问量&保存redis

    *   10-实时分析-今日访问量-代码-redis中保存当前offset进度

    *   11-实时分析-今日访问量-代码-测试

    *   12-实时分析-今日访问量-NiFi生产数据&测试

  *   实时分析-新增用户量-数据采集/

    *   13-实时分析-新增用户量-概述&数据采集

  *   实时分析-新增用户量统计分析/

    *   14-实时分析-新增用户量-统计分析逻辑

    *   15-实时分析-新增用户量-代码-实时计算新增用户量

    *   16-实时分析-新增用户量-代码-测试

    *   17-实时分析-新增用户量-NiFi生产数据&测试

  *   实时分析-今日购买量数据采集/

    *   18-实时分析-今日购买量-概述&数据采集

  *   实时分析-今日购买量统计分析/

    *   19-实时分析-今日购买量-统计分析逻辑&代码

    *   20-实时分析-今日购买量-代码-测试

    *   21-实时分析-今日购买量-NiFi生产数据&测试

  *   实时分析-集成测试/

    *   22-实时分析-集成测试-NiFi调度配置

    *   23-实时分析-集成测试-测试&web展示

*   第五章 智慧学成-即时查询/

  *   即时查询-学习目标/

    *   即时查询-学习目标

  *   即时查询-需求分析/

    *   即时查询-需求分析&技术方案

    *   即时查询-技术方案-代码演示-保存-代码

    *   即时查询-技术方案-代码演示-保存-测试

    *   即时查询-技术方案-代码演示-查询-代码&测试

    *   即时查询-采集分析&存储分析

  *   即时查询-数据采集/

    *   即时查询-数据采集-用户学习采集

    *   即时查询-数据采集-课程视频维度采集

  *   即时查询-统计分析/

    *   即时查询-统计分析-概述&步骤1统计逻辑&中间表介绍

    *   即时查询-统计分析-步骤1：代码-获取原始数据

    *   即时查询-统计分析-步骤1：代码-注册udf函数

    *   即时查询-统计分析-步骤1：代码-关联相关维度&统计学习时长

    *   即时查询-统计分析-步骤1：代码-测试

    *   即时查询-统计分析-步骤2：概述

    *   即时查询-统计分析-步骤2：代码

    *   即时查询-统计分析-步骤2：测试

    *   即时查询-统计分析-使用hbase注意事项

    *   即时查询-统计分析-NiFi生产数据-配置

    *   即时查询-统计分析-NiFi生产数据-测试&代码测试

  *   即时查询-集成测试/

    *   即时查询-集成测试-配置

    *   即时查询-集成测试-测试&web展示

*   第六章 智慧学成-系统集成测试/

  *   系统集成测试-学习目标/

    *   系统集成测试-学习目标&概述

  *   系统集成测试-代码重新打包/

    *   系统集成测试-代码重新打包-代码修改

    *   系统集成测试-代码重新打包-上传NiFi容器

  *   系统集成测试-NiFi采集-清洗-统计分析/

    *   系统集成测试-NiFi采集-清洗-统计分析-概述&清理业务数据

    *   系统集成测试-NiFi采集-清洗-统计分析-即时查询

    *   系统集成测试-NiFi采集-清洗-统计分析-离线分析-课程访问量

    *   系统集成测试-NiFi采集-清洗-统计分析-离线分析-课程购买量

    *   系统集成测试-NiFi采集-清洗-统计分析-离线分析-热门学科排名

    *   系统集成测试-NiFi采集-清洗-统计分析-实时分析

    *   系统集成测试-NiFi采集-清洗-统计分析-web展示

*   第七章 智慧学成-项目就业指导/

  *   智慧学成-项目就业指导/

    *   项目就业指导-就业指导概述&项目功能模块

    *   项目就业指导-技术构架&技术栈-1

    *   项目就业指导-技术构架&技术栈-2

    *   项目就业指导-数据仓库是如何设计的？

    *   项目就业指导-数据采集是如何实现的 ？

    *   项目就业指导-ETL是如何做的？

    *   项目就业指导-离线分析是如何实现的？

    *   项目就业指导-同比分析在项目的应用？

    *   项目就业指导-实时分析是如何做的？

    *   项目就业指导-如何从海量数据查询想的数据？

    *   项目就业指导-项目中任务调度是如何做的？