【精品课】大数据金融信贷项目实战（Spark2.3.x Streaming）

课程目录

*   01 项目需求与分析/

  *   01 课程介绍

  *   02 金融信贷项目-介绍

  *   03 金融信贷项目-需求分析

  *   04 金融信贷项目-系统架构设计

  *   05 金融信贷项目-数据流程设计

  *   06 金融信贷项目-大数据平台集群规划

*   02 集群节点准备/

  *   01 VMware虚拟机软件安装配置

  *   02 Linux操作系统介绍

  *   03 Linux操作系统安装1

  *   04 VMware三种网络类型详解

  *   05 Linux操作系统安装2

  *   06 Linux系统网络配置

  *   07 Linux虚拟机克隆

  *   08 Linux静态IP技术

  *   09 x-shell远程连接工具使用

  *   10 Linux用户和用户组创建

  *   11 Linux主机名配置

  *   12 Linux防火墙配置

  *   13 openssh-clients服务安装

  *   14 Linux主机名与IP地址映射配置

  *   15 SSH免密码登录

  *   16 FileZilla工具使用

  *   17 节点2所有配置

  *   18 节点3所有配置

*   03 Eclipse环境搭建/

  *   01 本地JDK安装配置

  *   02 Eclipse下载安装1

  *   03 Eclipse下载安装2

  *   04 本地maven安装配置

  *   05 Eclipse配置maven

  *   06 Eclipse构建maven项目

*   04 Zookeeper分布式协调系统/

  *   01 Zookeeper概述

  *   02 Zookeeper架构原理

  *   03 Zookeeper读写流程

  *   04 Zookeeper服务

  *   05 Zookeeper安装模式及不同厂商版本选择

  *   06 Zookeeper集群规划

  *   07 搭建时钟同步服务器

  *   08 集群节点IP地址映射与防火墙配置

  *   09 集群节点SSH免密码登录

  *   10 集群脚本配置文件开发

  *   11 集群分发shell脚本开发

  *   12 集群远程执行shell脚本开发

  *   13 集群JDK安装配置

  *   14 Zookeeper集群安装部署

  *   15 Zookeeper四字命令详解

  *   16 Zookeeper shell实操

  *   17 Zookeeper 连接Watcher开发

  *   18 Zookeeper Java API创建znode

  *   19 Zookeeper Java API判断znode是否存在

  *   20 Zookeeper Java API获取znode数据

  *   21 Zookeeper Java API更新znode节点数据

  *   22 Zookeeper Java API获取znode子节点

  *   23 Zookeeper Java API删除znode节点

  *   24 Zookeeper集群配置管理项目案例

*   05 HDFS分布式文件系统/

  *   01 hdfs特点

  *   02 hdfs体系架构

  *   03 hdfs读数据流程

  *   04 hdfs写数据流程

  *   05 NameNode HA工作原理

  *   06 ZKFC工作原理

  *   07 QJM工作原理与防止脑裂

  *   08 NameNode主备切换完成流程详解

*   06 YARN资源管理系统/

  *   01 YARN概述

  *   02 YARN与MapReduce之间的关系

  *   03 YARN基本架构

  *   04 MapReduce ON YARN

  *   05 YARN HA高可用

*   07 Hadoop分布式集群搭建/

  *   01 HDFS分布式文件系统安装配置

  *   02 HDFS服务启动与测试

  *   03 HDFS文件系统测试运行

  *   04 YARN集群安装配置

  *   05 YARN测试运行

  *   06 YARN服务启动与测试

  *   07 HDFS HA和YARN HA 故障转移实战演示

  *   08 Hadoop默认配置详解

*   08 MapReduce离线计算框架/

  *   01 MapReduce概述

  *   02 MapReduce基本设计思想

  *   03 MapReduce编程模型

  *   04 MapReduce案例分析

*   09 Eclipse与MapReduce集成开发/

  *   01 Eclipse开发MapReduce程序1

  *   02 Eclipse开发MapReduce程序2

  *   03 Eclipse本地调试运行MapReduce1

  *   04 Eclipse本地调试运行MapReduce2

  *   05 Eclipse项目打包的两种方式

  *   06 MapReduce提交YARN集群运行

  *   07 maven管理多个MapReduce程序1

  *   08 maven管理多个MapReduce程序2

  *   09 MapReduce调试、打包及部署运行

*   10 Eclipse与HDFS集成开发/

  *   01 获取HDFS文件系统

  *   02 Java API创建HDFS目录

  *   03 Java API文件上传HDFS

  *   04 Java API实现HDFS文件下载

  *   05 Java API查看HDFS文件目录

  *   06 Java API删除HDFS文件目录

*   11 HBase分布式实时数据库/

  *   01 HBase概述

  *   02 HBase数据模型

  *   03 HBase物理模型

  *   04 HBase系统架构

  *   05 HBase淘宝案例

  *   06 HBase移动案例

  *   07 HBase集群规划

  *   08 HBase安装配置

  *   09 HBase服务启动测试

  *   10 shell对HBase表进行测试

  *   11 hbase Java客户端基本操作

*   12 Hive大数据仓库/

  *   01 Hive概述

  *   02 Hive体系结构及原理

  *   03 HiveMetaStore安装方式与Hive部署方式

  *   04 MySQL元数据库安装

  *   05 Hive安装配置

  *   06 Hive服务启动与测试

  *   07 HiveServer1与HiveServer2区别与联系

  *   08 JDBC访问HiveServer2

  *   09 beeline访问HiveServer2

  *   10 Hive与HBase集成开发

*   13 Sqoop数据导入导出/

  *   01 Sqoop数据导入导出原理

  *   02 Sqoop安装部署

  *   03 Sqoop将MySQL数据导入HDFS

  *   04 Sqoop将HDFS数据导入MySQL

  *   05 利用Sqoop实现Hive与MySQL数据导入导出

  *   06 利用Sqoop实现HBase与MySQL数据导入导出

  *   07 MySQL数据库乱码以及访问权限问题解决

*   14 Flume数据采集系统/

  *   01 flume概述

  *   02 Flume系统架构

  *   03 Flume安装部署

  *   04 Flume集群构建

  *   05 Flume官网文档使用详解

*   15 Kafka消息系统/

  *   01 Kafka概述

  *   02 Kafka系统架构

  *   03 Kafka拓扑结构

  *   04 Kafka集群配置

  *   05 Kafka集群服务启动与测试

  *   06 Kafka 新api数据发送与消费

  *   07 Kafka旧api数据发送与消费

  *   08 Kafka集群监控

  *   09 Kafka与flume集成开发

*   16 Spark 快速入门/

  *   01 Spark概述

  *   02 Spark最简安装

  *   03 Eclipse开发并测试Java版本的Spark Wordc

  *   04 Spark Submit提交运行Java版本的Wordcou

  *   05 Eclipse安装Scala插件

  *   06 Eclipse构建Scala maven项目

  *   07 Eclipse开发Scala版本的Spark Wordcou

  *   08 Scala Wordcount本地和线上分别测试运行

*   17 Spark 编程模型/

  *   01 RDD本质

  *   02 RDD窄依赖与宽依赖

  *   03 创建RDD

  *   04 RDD转换操作与行动操作

  *   05 PairRDD转换操作与行动操作

*   18 Spark集群安装部署/

  *   01 scala安装配置

  *   02 Spark集群配置

  *   03 spark集群服务启动测试

  *   04 Spark Standalone工作流程

  *   05 提交作业到Spark Standalone集群运行

  *   06 Spark ON YARN 工作原理

  *   07 Spark ON YARN集群搭建

*   19 Spark Streaming实时计算/

  *   01 Spark Streaming概述

  *   02 Spark Streaming运行原理

  *   03 Spark Streaming 编程套路

  *   04 窗口函数普通规约与增量规约

  *   05 DStream输出及持久化操作

*   20 Spark SQL离线计算/

  *   01 Spark SQL架构原理

  *   02 DataFrame、DataSet与RDD之间的区别与联系

  *   03 RDD转DataFrame

  *   04 RDD转DataSet

  *   05 DataSet转DataFrame

  *   06 DataSet转RDD

  *   07 DataFrame转RDD

  *   08 SparkSQL与Hive集成开发

  *   09 Spark SQL与mysql集成开发

  *   10 Spark SQL与HBase集成开发

*   21 Spark Structured Streaming实时计算/

  *   01 Spark Streaming Streaming案例

  *   02 Spark Structured Streaming编程模型

  *   03 Spark Structured Streaming数据源

  *   04 金融信贷项目-启动集群相关服务

*   22 金融信贷项目离线分析/

  *   01 数据格式说明

  *   02 业务数据导入Hive平台

  *   03 信用卡持卡用户特征分析

  *   04 信用卡用户消费行为分析

  *   05 用户信用卡管理行为分析

  *   06 开发Hive Shell脚本

  *   07 MySQL业务数据建模

  *   08 业务汇总数据入库

*   23 Spark Streaming金融信贷项目实时分析/

  *   01 需求分析与数据流程

  *   02 应用服务器模拟程序开发

  *   03 Flume集群实时采集APP日志

  *   04 应用服务器模拟+flume+kafka集成开发

  *   05 业务建模

  *   06 spark Streaming业务代码实现

  *   07 Spark Streaming与MySQL集成开发（1）

  *   08 Spark Streaming与MySQL集成开发（2）

  *   09 应用服务器程序+flume+kafka等集成开发

*   24 Spark SQL金融信贷项目实时分析/

  *   01 业务建模

  *   02 Spark SQL业务代码实现

  *   03 Spark SQL与MySQL集成开发

*   25 Structured Streaming金融信贷项目实时分析/

  *   01 业务建模

  *   02 Spark Streaming Streaming页面代码实

  *   03 自定义JDBCSink

  *   04 Structured Streaming与MySQL集成开发

  *   05 应用服务器+Flume+Kafka等集成开发

  *   06 项目业务完善与优化

*   26 金融信贷项目可视化/

  *   01 Eclipse与tomcat集成

  *   02 Eclipse构建Web项目

  *   03 后台业务代码实现

  *   04 前端业务代码实现

  *   05 项目离线数据可视化

  *   06 项目实时数据可视化

  *   07 项目总结

*   27 结课测试/

  *   01 结课测试