【年度钻石会员】Python+大数据

为帮助梦想进入数据开发行业的零基础学员，大数据学科现引入Python语言，课程全新升级为Python大数据开发。

* 阶段一 Python编程/

* 第一章 Python基础编程/

* 学习软件使用/

* 01-（了解）Winrar压缩软件介绍与使用

* 02-（重点）Typora笔记软件

* 03-（重点）Snipaste截图软件使用

* 04-（重点）Xmind思维导图软件

* 05-（可选）金山打字通

* 06-（可选）Everything搜索软件

* Python概述/

* 07-（了解）学习目标

* 08-（了解）为什么要学习Python

* 09-（了解）Python语言概述

* 10-（重点）Python解析器安装与配置

* PyCharm使用入门/

* 11-（重点）PyCharm软件安装项目创建以及代码编写

* 12-（回顾）上午知识点小结

* 13-（重点）PyCharm开发工具配置

* 14-（重点）PyCharm项目管理

* 15-（重点）Python中的注释

* 16-（重点）PyCharm中注释快捷键

* Python变量与注释/

* 17-（重点）变量的定义与访问

* 18-（重点）变量的命名规则

* 19-（建议）推荐的命名规则

* 20-（答疑）变量与字符串区别

* 21-（重点）Python中变量的数据类型

* Pycharm中Debug使用/

* 22-（重点）Python中的Bug解决

* 23-（重点）Debug调试工具使用

* 24-交作业流程

* Python格式化输出/

* 01-（回顾）昨日回顾

* 02-（重点）百分号形式的格式化输出

* 03-（重点）百分号形式格式化输出时在输出一个百分号

* 04-（重点）format()方法实现格式化输出

* 05-（重点）f简写形式的格式化输出

* 06-（重点）print()中的换行符号

* 07-（重点）input()输入方法详解

* Python运算符/

* 08-（了解）学习目标

* 09-（案例）两个变量值的交换

* 10-（引入）为什么需要类型转换

* 11-（回顾）上午知识点小结

* 12-（重点）4种数据类型转换方法

* 13-（重点）算数运算符

* 14-（案例）求梯形的面积

* 15-（重点）赋值运算符

* 16-（重点）复合赋值运算符

* 17-（重点）比较运算符

* 18-（重点）逻辑与或非

* 19-（扩展）短路运算

* 20-（理解）运算符的优先级

* Python分支语句/

* 21-（重点）if中的选择结构

* 22-（重点）if条件判断与input()输入语句相结合

* 23-（重点）if...else结构

* 24-（作业）今日作业

* 01-（回顾）昨日回顾

* 02-（扩展）Visio绘制流程图

* 03-（扩展）if...else结构流程图

* 04-（重点）if...elif...else多分支结构

* 05-（难点）if嵌套结构

* 06-（小结）if分支结构

* Python分支语句综合案例/

* 07-（重点）猜拳游戏开发（上）

* 08-（重点）随机模块与随机数概念

* 09-（重点）三目运算符

* while循环/

* 10-（重点）while循环作用与while循环三步走

* 11-（回顾）上午知识点小结

* 12-（理解）while循环执行流程

* 13-（案例）求1-100的累加和

* 14-（案例）求1-100之间所有偶数的和

* 15-（答疑）while循环中常见问题

* 16-（重点）循环中的break与continue

* 17-（理解）死循环结构

* while循环案例/

* 18-（案例）猜数字

* 19-（案例）猜数字升级版

* for循环/

* 20-（了解）for循环学习目标

* 21-（重点）for循环基本语法与应用场景

* 22-（重点）range()函数

* 23-（重点）使用for循环求1-100的和

* 24-（重点）使用for循环求1-100之间所有偶数的和

* 01-（回顾）昨日回顾

* 02-（重点）for循环中的break与continue关键字

* for循环案例/

* 03-（重点）使用for循环实现用户名与密码登录认证

* 04-（重点）使用for循环实现用户名密码认证案例

* 05-（重点）for循环中的else语句

* 06-（案例）报数字游戏开发

* 字符串定义及切片/

* 07-（了解）数据容器学习目标

* 08-（回顾）字符串的定义与访问

* 09-（重点）索引下标与字符串遍历

* 10-（回顾）上午知识点小结

* 11-（重点中重点）字符串切片

* 12-（补充）步长为某个数值的情况

* 字符串查找、替换、合并/

* 13-（重点）find()搜索方法

* 14-（案例）文件截取

* 15-（重点）字符串修改方法

* 16-（重点）字符串判断方法

* 17-（小结）字符串常见操作方法

* 列表定义及使用/

* 18-（重点）列表的定义与访问

* 19-（重点）列表的查询操作

* 20-（重点）列表的增加方法

* 21-（重点）列表的删除方法

* 22-（重点）列表的修改方法

* 23-（重点）列表的翻转与排序

* 24-（了解）列表嵌套

* 01-（回顾）昨日回顾

* 元组定义及使用/

* 02-（重点）元组的定义与访问

* 03-（重点）元组特性与相关查询方法

* 字典定义及使用/

* 04-（了解）数据容器学习目标

* 05-（重点）字典的定义与访问过程

* 06-（重点）字典的新增与修改操作

* 07-（重点）字典的删除操作

* 08-（重点）字典中的查询方法

* 09-（扩展）学生管理系统的添加与删除功能

* 10-（回顾）上午知识点小结

* 集合定义及使用/

* 11-（重点）集合的定义与访问

* 12-（重点）集合中的相关方法

* 公共方法与列表推导式/

* 13-（重点）数据容器的公共方法（上）

* 14-（重点）数据容器的公共方法（下）

* 15-（重点）数据容器的相互转换

* 16-（扩展）列表推导式

* 函数基本使用/

* 17-（了解）Python中函数的学习目标

* 18-（重点）函数的定义与调用

* 19-（重点）函数的return返回值

* 01-（回顾）昨日回顾

* 02-（重点）Python中函数的由来

* 03-（重点）聊聊return返回值

* 04-（重点）函数说明文档

* 函数嵌套/

* 05-（理解）函数嵌套语法与执行流程

* 06-（流程）一个案例深入理解函数嵌套执行流程

* 函数案例/

* 07-（案例）封装一个函数求三个数的平均值

* 08-（案例）封装一个函数实现字符串翻转与替换

* 09-（案例）生成4位长度的随机验证码（上）

* 10-（回顾）上午知识点小结

* 11-（案例）生成4位长度的随机验证码（下）

* 12-（扩展）生成指定长度的验证码

* 变量作用域/

* 13-（重点）全局变量与全局变量的访问范围

* 14-（重点）局部变量与局部变量的访问范围

* 15-（重点）global关键字

* 函数传参/

* 16-（理解）实参与形参概念

* 17-（重点）位置传参与关键词传参

* 18-（重点）函数定义时的缺省参数

* 19-（重点中重点）不定长参数

* 20-（重点中重点）不定长参数应用场景

* 21-（特殊）参数混用的情况

* 可变类型和不可变类型/

* 22-（理解）理解哪些数据类型属于不可变类型

* 01-（回顾）昨日回顾

* 02-（重点理解）不可变数据类型

* 03-（重点）可变数据类型

* 04-（案例）可变与不可变对函数传参的影响

* 05-（重点）元组拆包

* 文件基本操作/

* 06-（了解）文件操作学习目标

* 07-（重点）文件基本概念

* 08-（重点）文件操作三步走

* 09-（重点）解决中文乱码问题

* 10-（重点）文件读取的三个方法

* 11-（回顾）昨日回顾

* 12-（案例）文件备份案例（上）

* 13-（案例）文件备份案例（下）

* 文件操作案例/

* 14-（重点）os重命名与删除文件

* 15-（重点）os模块中与文件夹相关方法

* 16-（理解）普及路径概念

* 17-（扩展）删除非空目录

* 异常处理/

* 18-（重点）异常与异常捕获

* 19-（重点）捕获异常并获取异常信息

* 20-（重点）try...except...else结构

* 21-（重点）try...except...else...finally语句

* 模块与包/

* 22-（重点）模块的两种导入方式

* 23-（重点）求一个程序的执行时间

* 01-（回顾）昨日回顾

* 02-（扩展）创建自定义模块并导入系统

* 03-（理解）自定义模块测试方法

* 04-（理解）探讨一下__name__到底返回结果是什么？

* 学生管理系统/

* 05-（重点）理解学生管理系统需求

* 06-（案例）实现系统功能菜单

* 07-（案例）根据用户编号执行对应的功能

* 08-（案例）添加功能实现

* 09-（案例）删除功能实现

* 10-（小结）上午知识点小结

* 11-（案例）修改功能实现

* 12-（案例）查询功能实现

* 13-（案例）遍历查询操作

* 14-（案例）保存数据到文件

* 15-（案例）加载文件中数据到系统

* 总结回顾/

* 16-（复习）注释变量与数据类型

* 17-（复习）类型转换运算符以及if分支结构

* 18-（复习）Python中的循环结构

* 19-（复习）Python函数

* 第二章 Python面向对象/

* 类定义/

* 01-（了解）学习目标

* 02-（理解）面向过程与面向对象设计思想

* 03-（重点）面向对象编程思想

* 04-（重点）类的定义（新式类）

* 05-（重点）类的实例化（产生对象）

* 06-（重点）self到底指向谁

* 类属性/

* 07-（重点）在类的外部添加与获取对象属性

* 08-（重点）在类的内部获取类外部定义的属性

* 09-（回顾）上午知识点小结

* 魔法方法/

* 10-（问题）为什么需要魔术方法？

* 11-（重点）__init__()魔术方法的使用

* 12-（重点）为对象赋予公共属性

* 13-（重点）__str__()魔术方法

* 14-（重点）__del__()魔术方法

* 15-（小结）魔术方法小结

* 16-（理解）面向对象程序执行流程

* 面向对象案例/

* 17-（案例）学生成绩打印

* 18-（案例）小明爱跑步

* 19-（重点）属性的封装（私有属性）

* 20-（重点）如何获取课程资料与提交作业

* 01-（回顾）昨日回顾

* 面向对象课堂作业/

* 02-（作业）高级题目4答案

* 03-（答疑）删除对象时顺序问题

* 04-（作业）搬家具案例（上）

* 04-（作业）搬家具案例（中）

* 05-（作业）搬家具案例（下）

* 封装与继承/

* 06-（重点）封装性之私有属性的概念

* 07-（重点）封装性之私有方法

* 08-（回顾）上午知识点小结

* 09-（重点）Python中继承基本语法

* 10-（重点）单继承

* 11-（重点）单继承传递性（多层继承）

* 12-（理解）多继承概念

* 13-（重点）使用mro了解类与类的继承关系

* 14-（重点）子类扩展之重写操作

* 15-（重点）super()方法强制调用父类中属性或方法

* 多态/

* 16-（了解）Python中的多态性

* 17-（了解）Python中多态案例

* 类属性方法/

* 18-（重点）类属性概念

* 19-（重点）类方法概念

* 20-（重点）静态方法

* 21-（作业）今日作业安排

* 01-（回顾）昨日回顾

* 面向对象版-学生管理系统/

* 02-（案例）学生类开发流程

* 03-（案例）入口文件实现

* 04-（案例）功能菜单之静态方法实现

* 05-（案例）学员添加功能实现

* 06-（案例）遍历所有学员功能实现

* 07-（案例）移除同学信息实现

* 08-（案例）修改学员信息实现

* 09-（案例）查找学员功能实现

* 10-（回顾）上午知识点小结

* 11-（案例）保存数据到文件（遗留了问题）

* 12-（案例）数据保存到文件完整版

* 13-（补充）数据保存补充

* 14-（案例）加载文件中的数据到系统

* 第三章 Python进阶编程/

* 闭包/

* 15-（了解）学习目标

* 16-（回顾）全局变量与局部变量概念

* 17-（理解）局部变量与局部变量访问范围

* 18-（理解）闭包三步走

* 19-（答疑）闭包执行原理

* 20-（重点）global关键字与nonlocal关键字

* 21-（案例）闭包案例

* 装饰器/

* 22-（重点）装饰器三步走

* 23-（案例）使用装饰器求程序执行时间

* 01-（回顾）昨日回顾

* 02-（重点）装饰器的基本语法

* 03-（理解）装饰器的执行原理

* 04-（理解）装饰器的雏形（底层原理）

* 05-（案例）求执行时间装饰器

* 06-（重点）使用装饰器装饰带有参数的函数

* 07-（重点）使用装饰器装饰带有不定长参数的函数

* 08-（重点）使用装饰器装饰带有返回值的函数

* 09-（重点）通用装饰器的编写

* 10-（扩展）带有参数的装饰器

* 11-（了解）类装饰器

* 前端环境安装/

* 12-（回顾）上午知识点小结

* 13-（了解）HTML与CSS学习目标

* 14-（了解）HTML概念与作用

* 15-（重点）VS Code软件安装与配置

* 16-（重点）VS Code编辑器配置

* HTML基础/

* 17-（重点）标题段落与div结构标签（双标签）

* 18-（重点）有序列表与无序列表

* 19-（重点）换行水平线以及图片标签（单标签）

* 20-（理解）绝对路径与相对路径

* 21-（重点）表格标签（适合做数据展示）

* 22-（重点）表单标签

* 23-（重点）表单提交

* CSS基础/

* 24-（重点）CSS概述与三种引入方式

* 01-（回顾）昨日回顾

* 02-（重点）常用三种选择器（标签ID以及类选择器）

* 03-（重点）层级选择器

* 04-（重点）组选择器

* 05-（重点）伪类选择器

* 06-（小结）6种选择器总结

* 07-（重点）布局属性

* 08-（重点）文本属性

* Socket网络编程/

* 09-（了解）学习目标

* 10-（理解）IP地址概念

* 11-（理解）端口与端口号概念

* 12-（回顾）上午知识点小结

* 13-（理解）端口号作用与分类

* 14-（理解）TCP传输控制协议

* 15-（理解）socket套接字工具

* TCP服务器开发流程/

* 16-（重点）TCP客户端开发五步走与服务器开发七步走

* 17-（重点）TCP客户端开发五步走代码实践

* 18-（难点）TCP服务器端开发七步走之前四步

* 19-（答疑）常见问题汇总

* 20-（重点）TCP服务器端开发七步走

* 21-（重点）TCP服务器端面向对象版本封装

* TCP服务器细节处理/

* 22-（答疑）常见问题回复

* 01-（回顾）昨日回顾

* 02-（重点）程序入口与端口复用

* 03-（理解）TCP网络应用程序开发注意事项

* 04-（扩展）Python代码如何操作飞Q软件

* 进程/

* 05-（了解）进程学习目标

* 06-（理解）多任务的概念

* 07-（理解）进程概念

* 08-（重点）使用多进程完成多任务

* 09-（小结）小结与答疑

* 10-（重点）使用多进程实现带有参数的多任务

* 11-（重点）获取主进程编号与子进程编号

* 12-（回顾）上午知识点小结

* 13-（重点）使用os.kill()方法杀掉进程

* 14-（注意点）多进程之间无法共享全局变量

* 15-（注意点）主进程与子进程结束顺序问题

* 16-（小结）注意点小结

* 线程/

* 17-（了解）线程学习目标

* 18-（理解）线程与进程区别和线程概念

* 19-（重点）使用多线程实现多任务（并发）

* 20-（重点）使用args与kwargs进行参数传递

* 21-（注意点）多线程之间共享全局变量

* 22-（注意点）主线程默认会等待子线程结束而结束

* 23-（注意点）线程之间的执行是无序的

* 24-（对比）进程与线程区别

* 25-（案例）多任务版本的TCP服务器端

* 01-（回顾）昨日回顾

* HTTP协议/

* 02-（了解）学习目标

* 03-（理解）HTTP协议概念

* 04-（理解）URL及URL组成

* 05-（重点）开发者工具使用

* 06-（重点理解）GET请求报文三部分

* 07-（重点）HTTP请求报文

* 08-（重点）HTTP响应报文

* 静态Web服务器/

* 09-（重点）使用Python搭建简单Web服务器

* 10-（重点）静态Web服务器开发

* 11-（回顾）上午知识点小结

* 12-（答疑）常见错误汇总

* 13-（重点）静态Web服务器开发之返回指定页面（上）

* 14-（重点）静态Web服务器开发之返回指定页面（中）

* 15-（重点）静态Web服务器开发返回指定页面（下）

* 16-（答疑）解决直接访问首页问题

* 17-（重点）解决访问页面不存在问题

* 18-（答疑）为什么要给文字添加编码

* 19-（重点）完整版Web服务器开发

* 20-（重点）FastAPI框架快速入门

* With上下文管理器/

* 01-（了解）学习目标

* 02-（重点）为什么要引入with上下文管理器

* 03-（重点）with上下文管理器

* 04-（重点）生成器的创建方式一

* Python生成器/

* 05-（重点）yield生成器

* 06-（理解）使用yield生成器生成斐波那契数列

* 07-（重点）生成器多种写法

* 08-（回顾）变量引用以及可变和不可变数据类型

* Python深浅拷贝/

* 09-（重点）Python中的浅拷贝

* 10-（重点）Python浅拷贝笔试题

* 11-（重点）Python中的深拷贝

* 12-（重点）Python中深拷贝特殊情况

* 正则表达式/

* 13-（重点）正则概述与快速入门

* 14-（重点）正则三步走之查什么

* 15-（重点）正则三步走之查多少

* 16-（重点）正则三步走之从哪查

* 17-（扩展）正则工具箱

* 正则表达式案例/

* 01-（回顾）昨日回顾

* 02-（分组）正则分组概念

* 03-（案例）分组练习题5则

* 04-（扩展）正则中的选择匹配符

* 05-（重点）re模块中的相关方法

* 06-（扩展）正则表达式起别名

* 07-（案例）正则综合案例二则

* 08-（案例）正则综合案例二则

* FastAPI搭建Web服务器/

* 09-（了解）学习目标

* 10-（重点）Web服务器搭建

* 11-（回顾）上午知识点小结

* 12-（重点）FastAPI图片请求通用配置

* 13-（答疑）FastAPI如何接收请求与处理请求

* 14-（重点）处理html页面请求

* Python爬虫/

* 15-（入门）爬虫概述与requests模块入门

* 16-（重点）使用爬虫爬取页面的图片url地址

* 17-（重点）根据爬虫爬取的图片地址保存数据

* 18-（重点）zip()函数的使用

* 19-（重点）GDP数据采集过程

* 20-（扩展）Xpath技术扩展（慎用）

* 01-（回顾）昨日回顾（上）

* 02-（回顾）昨日回顾（中）

* 03-（回顾）昨日回顾（下）

* 04-（重点）多任务实现爬虫

* 数据可视化/

* 05-（重点）pyecharts安装与快速入门

* 06-（重点）pyecharts新版链式操作

* 07-（重点）Faker随机类

* 08-（重点）pyecharts配置项说明

* 09-（重点）全球GDP前十名数据可视化

* 日志/

* 10-（重点）logging日志模块与日志格式化输出

* 11-（回顾）上午知识点小结

* 12-（重点）输出日志写入到文件

* 13-（重点）在Web项目中整合logging日志

* 下阶段课程准备/

* 14-（重点）MySQL8.0软件安装

* 15-（重点）DataGrip软件安装与配置

* python进阶课程回顾/

* 16-（回顾）面向对象基础

* 17-（回顾）面向对象三大特性

* 18-（回顾）面向对象其他特性

* 19-（回顾）闭包与装饰器

* 20-（补充）装饰器的补充

* 21-（重点）TCP套接字编程

* 22-（重点）Python中多任务编程

* 23-（重点）Python高级与正则表达式

* 01-（回顾）昨日回顾

* 阶段作业 Python大数据开发基础-第1套试卷/

* 试卷

* 阶段二 SQL（SQL+Kettle+FineBI）/

* 第一章 SQL/

* 阶段学习反馈/

* 【Python编程】阶段学习反馈

* 数据库基础/

* 02-（了解）MySQL基础学习目标

* 03-（了解）数据库介绍

* 04-（掌握）MySQL概述与软件下载

* 05-（了解）MySQL8.0下载

* 06-（了解）Windows版本MySQL安装

* 07-（重点）小皮面板与DataGrip软件安装与连接操作

* 08-（重点）DataGrip软件配置

* DDL/

* 09-（理解）SQL语言概述与SQL通用写法

* 10-（重点）DDL之数据库管理

* 11-（重点）DDL之数据表创建过程

* 12-（案例）数据表创建案例

* 13-（重点）DDL之数据表查看

* 14-（答疑）反撇号与引号区别

* 15-（重点）DDL之数据表修改（字段添加）

* 16-（重点）DDL之数据表修改（字段名称与类型修改）

* 17-（重点）DDL之数据表修改（字段删除）

* 18-（重点）DDL之数据表修改（数据表重命名）

* 19-（重点）DDL之数据表删除

* 20-（小结）数据表的增删改查

* DML/

* 21-（重点）数值类型（整数与浮点类型）

* 22-（重点）日期时间与文本类型

* 01-（回顾）昨日回顾

* 02-（重点）DML之数据插入操作

* 03-（重点）DML之数据更新操作

* 04-（重点）DML之数据删除操作

* SQL约束/

* 05-（重点）五大约束之主键约束

* 06-（重点）主键约束的添加与删除操作

* 07-（扩展）自动增长序列

* 08-（补充）如何移除带有自动增长的主键

* 09-（重点）五大约束之非空约束

* 10-（重点）五大约束之唯一约束

* 11-（回顾）上午知识点小结

* 12-（重点）五大约束之默认值约束

* 13-（重点）五大约束之外键约束

* 14-（小结）五大约束

* SQL条件查询/

* 15-（重点）简单查询

* 16-（重点）五子句之where子句与比较查询

* 17-（重点）五子句之where子句与范围查询

* 18-（重点）五子句之where子句与逻辑查询

* 19-（重点）五子句之where模糊查询

* 20-（重点）五子句之where非空查询

* SQL聚合函数/

* 21-（重点）聚合函数

* 22-（理解）聚合函数不统计空值

* 23-（重点）五子句之group by分组子句

* 24-（扩展）回溯统计

* 25-（重点）五子句之having子句

* 01-（回顾）昨日回顾

* 02-（重点）五子句之order by排序子句

* 03-（重点）五子句之limit子句限制查询数量

* 04-（重点）五子句之limit分页查询子句

* 05-（小结）五子句查询小结

* 06-（重点）distinct针对某列进行去重操作

* SQL多表查询/

* 07-（数据）多表数据集准备

* 08-（理解）多表查询之交叉连接查询

* 09-（重点）多表查询之内连接查询

* 10-（重点）多表查询之书写规则

* 11-（回顾）上午知识点小结

* 12-（重点）多表查询之内连接查询的另外一种写法

* 13-（重点）多表查询之外连接查询

* 14-（小结）内连接查询与外连接查询区别

* 15-（了解）自连接查询与数据集准备

* 16-（重点）多表查询之自连接查询代码实现

* SQL外键约束/

* 17-（理解）表与表之间关系

* 18-（扩展）外键约束

* 19-（扩展）引擎概念与外键关系

* SQL子查询/

* 20-（重点）子查询概念与案例演示

* 21-（重点）子查询案例2

* 22-（重点）子查询案例3

* 01-（回顾）昨日回顾

* 窗口函数/

* 02-（重点）窗口函数学习目标

* 03-（重点）窗口函数概述

* 04-（案例）聚合函数与窗口函数比较

* 05-（重点）数据集准备

* 06-（重点）窗口函数基本语法与使用案例

* 07-（重点）窗口函数案例

* 08-（重点）窗口函数案例

* 09-（重点）把over()计算结果进行进一步计算

* 10-（重点）窗口函数基本概念

* 11-（理解）数据集介绍

* 12-（重点）rank()排名函数

* 13-（重点）dense_rank()排名函数

* 14-（重点）row_number()排名函数

* 第二章 Kettle/

* Kettle入门/

* 15-（回顾）上午知识点小结

* 16-（了解）可视化ETL工具之Kettle

* 17-（重点）JDK环境配置

* 18-（重点）Kettle软件安装与启动

* 19-（重点）Kettle快速入门

* 20-（重点）程序小姐姐的烦恼（上）

* 21-（重点）程序小姐姐的烦恼（下）

* Kettle使用/

* 22-（重点）数据库连接共享

* 23-（重点）抽取MySQL数据装载到MySQL数据库中

* 01-（回顾）昨日回顾

* 02-（重点）数据表转换加载到数据表中

* 03-（重点）插入更新组件

* 04-（问题）常见问题汇总

* 05-（重点）switch-case组件

* 06-（重点）SQL脚本组件

* 07-（重点）执行带有参数的SQL脚本

* 08-（重点）Job计划任务

* 第三章 FineBI/

* FineBI/

* 09-（了解）BI系统概述

* 10-（了解）FineBI概述

* 11-（重点）FineBI安装以及试用

* 12-（回顾）上午知识点小结

* FineBI综合案例/

* 13-（重点）各学科学员数量分析

* 14-（重点）某集团各省份销售额与利润额分析

* 15-（案例）数据集准备（宽表来源）

* 16-（案例）每月销售额与毛利额信息展现

* 17-（案例）销售额环比数据与毛利额环比数据分析

* 18-（案例）全国各省份城市毛利率

* 19-（案例）全国各门店毛利率

* 20-（案例）全国各门店商品类别销售情况分析

* 21-（案例）全国各门店商品销售额与毛利率象限图

* 阶段学习反馈/

* 【SQL基础】阶段学习反馈

* 阶段作业 SQL基础（SQL+Kettle+FineBI）-第2套试卷/

* 试卷

* 阶段三 ETL实战/

* 第一章 ETL/

* ETL入门/

* 01-ETL的引出

* 02-常见数据格式-CSV

* 03-常见数据格式-JSON

* 04-常见数据格式-XML

* 05-结构化-半结构化-非结构化数据类型

* 06-ETL案例的采集需求

* 07-JSON数据的处理思路和元数据管理概念

* 08-关于MySQL在项目中的使用方式

* （补充）etl-项目搭建-配置文件作用

* （补充）etl-项目搭建工具类与单元测试类说明

* logging日志处理模块/

* 09-上午内容回顾-logging的基本使用

* 10-编写Logging工具方法

* 11-编写配置文件

* 12-编写单元测试

* 数据文件读取模块/

* 13-编写文件工具-完成递归查找文件夹内的文件

* 14-编写文件工具的单元测试

* 15-代码逻辑回顾

* 01-昨日内容简单回顾

* 02-优化代码-增加json数据文件夹的配置项

* 数据库数据存储模块/

* 03-创建mysql_util代码文件-演示pymysql的自动提交功能

* 04-编写mysql_util的功能代码

* 05-[补充]路径表示符的写法以及类的概念回顾

* 06-对mysql_util进行单元测试

* 数据文件搜索及核对/

* 07-编写从mysql中查询已经处理过的文件的工具方法

* 08-编写对比list，找出没有被处理的文件的工具方法

* 09-调用对比方法，找出可以被处理的文件

* 订单模型构建/

* 10-[拓展]使用模型来封装数据的方式

* 11-构建订单数据的基础模型

* 01-前两天代码的梳理

* 02-在模型中构建to_csv的方法

* 时间转化/

* 03-[扩展]-时间戳和常用转换的代码

* 04-构建时间戳转换的工具方法并单元测试

* 订单数据处理/

* 05-构建字符串工具检查空内容并将model数据的无意义省市区转换成未知省市区

* 06-构建模型中将数据组合成插入SQL语句的功能

* 订单详情数据处理/

* 07-构建订单详情(带商品信息)的模型代码

* 08-编写主逻辑代码完成CSV备份文件的写出

* 09-今日的内容快速回顾

* 订单数据入库/

* 01-对MySQLUtil进行改动让其支持更换数据库进行连接

* 02-将数据插入MySQL-1

* 03-将数据插入MySQL-2

* 04-将已经处理完成的数据记录到元数据库中

* 条形码数据采集/

* 05-需求2采集MySQL数据-前期准备

* 06-需求2前期准备-判断数据源表和目的地表是否存在

* 07-需求2从数据源中查询出数据

* 条形码数据写出/

* 08-需求2-构建barcode模型代码

* 09-需求2-将模型写出到MySQL和CSV

* 10-今日主业务代码回顾

* 11-[扩展]alt-shift快捷键演示

* 后台日志处理/

* 01-昨日内容简单回顾

* 02-需求3的需求分析

* 03-需求3快速实现演示

* 项目回顾/

* 04-上午内容需求3代码回顾

* 05-主业务逻辑代码的梳理回顾

* FineBI数据报表/

* 06-FineBI前期准备数据仪表板

* 07-FineBI-每日销售额走势图表构建

* 08-FineBI-热销商品词云图表构建

* 09-构建后台日志分析仪表板

* 阶段作业 Python进阶编程-第1套试卷/

* 试卷

* 阶段四 Hadoop技术栈/

* 第一章 Linux/

* 计算机操作系统/

* 00_课程内容大纲和学习目标

* 01--计算机原理与操作系统概述

* 02--Linux操作系统的发展与概述

* Vmware虚拟机安装与使用/

* 03--VMware虚拟机--虚拟设备与NAT网络模式

* 扩展1--VMware软件安装

* 04--VMware虚拟机--NAT模式安装Centos详解

* 05--VMware虚拟机--SSH协议原理与CRT软件的使用

* 06--VMware虚拟机--Linux上传下载文件--sftp、lrzsz

* Linux常用基础命令/

* 07--Linux常用基础命令--文件系统概述、特殊符号

* 08--Linux常用基础命令--常用操作命令--上

* 09--Linux常用基础命令--常用操作命令--下

* 10--Linux常用基础命令--搜索操作、软链接

* 11--Linux常用基础命令--打包解包、压缩解压缩

* 文本编辑器使用/

* 12--vim编辑器--概述与3种工作模式

* 13--vim编辑器--常用的命令使用

* 14--notepad++ FTP插件使用、finalshell（扩展）

* 用户与权限/

* 00--课程内容回顾总结

* 01--今日课程内容大纲和学习目标

* 02--Linux用户与权限--用户与组概念、权限概念

* 03--Linux用户与权限--用户与组的管理

* 04--Linux用户与权限--su、sudo权限

* 05--Linux用户与权限--权限相关管理命令

* 06--Linux系统信息查看--时间、内存磁盘、进程

* 大数据集群环境搭建/

* 07--大数据集群环境搭建--分布式与集群概念初识

* 08--大数据集群环境搭建--主从架构、主备架构概念

* 09--大数据集群环境搭建--虚拟机克隆、主机名和IP修改

* 10--大数据集群环境搭建--hosts映射修改

* 11--大数据集群环境搭建--防火墙关闭

* 12--大数据集群环境搭建--集群时间同步

* 13--大数据集群环境搭建--ssh免密登录

* 14--大数据集群环境搭建--scp远程拷贝

* Linux软件安装/

* 15--Linux软件安装--rpm包管理器与常用命令

* 16--Linux软件安装--MySQL的rpm安装详解

* 17--Linux软件安装--yum包管理器

* 18--Linux软件安装--JDK的安装、环境变量配置

* shell脚本/

* 19--了解shell编程--介绍、入门案例

* 20--了解shell编程--变量、字符串、反引号、动态传参

* 第二章 Hadoop/

* 大数据导论/

* 01--课程内容大纲和学习目标

* 02--大数据导论--数据、数据分析

* 03--大数据导论--数据分析的作用、方向

* 04--大数据导论--数据分析基本流程步骤（重要）

* 05--大数据导论--大数据时代（概念、5V特征）

* 06--大数据导论--大数据应用

* 07--大数据导论--分布式技术

* 就业基础知识学习

* 就业基础知识学习（应届生）

* 结构化表达-STAR法

* Zookeeper/

* 08--Apache zookeeper--概述、定位、功能

* 09--Apache zookeeper--全局数据一致性

* 10--Apache zookeeper--集群的架构与角色职责

* 11-Apache zookeeper--集群搭建--配置文件详解

* 12--Apache zookeeper--集群启停、进程查看、日志查看

* 13--Apache zookeeper--数据模型、znode类型（4种）

* 14--Apache zookeeper--shell命令行操作（CRUD）

* 15--Apache zookeeper--监听机制watch

* 16--Apache zookeeper--典型应用场景

* 课程阶段性回顾/

* 课程内容回顾总结--上

* 课程内容回顾总结--下

* 00--课程内容回顾总结

* 01--课程内容大纲和学习目标

* Hadoop入门/

* 02--Apache Hadoop--概述与起源发展

* 03--Apache Hadoop--特性优点（分布式、通用、简单易用）

* 04--Apache Hadoop--发行版本与自身版本发展

* 05--Apache Hadoop--集群架构与集群角色介绍

* Hadoop集群部署/

* 06--Apache Hadoop--集群部署--Hadoop安装部署模式

* 07--Apache Hadoop--集群部署--了解源码编译

* 08--Apache Hadoop--集群部署--集群规划

* 09--Apache Hadoop--集群部署--服务器基础环境准备

* 10--Apache Hadoop--集群部署--配置文件详解

* 11--Apache Hadoop--集群部署--scp同步、环境变量配置

* 12--Apache Hadoop--集群部署--namenode format操作

* 13--Apache Hadoop--集群启停--命令与状态日志查看

* Hadoop界面管理/

* 14--Apache Hadoop--Web UI页面、初体验

* 15--Apache Hadoop--jobhistory服务配置与功能

* 16--Apache Hadoop--HDFS垃圾桶机制

* Hadoop HDFS入门/

* 课程内容大纲和学习目标

* 01--传统文件系统及其面临的挑战

* 02--分布式文件存储系统核心特性与作用

* 03--Hadoop HDFS--简介

* 04--Hadoop HDFS--起源发展和设计目标

* 05--Hadoop HDFS--核心重要特性解读

* 06--Hadoop HDFS--shell 操作--命令行功能及使用说明

* 07--Hadoop HDFS--shell 操作--常见命令操作

* Hadoop HDFS工作机制/

* 08--Hadoop HDFS--工作机制--角色与角色职责

* 09--Hadoop HDFS--工作机制--上传文件流程--pipeline、ack、3副本策略

* 10--Hadoop HDFS--工作机制--上传文件流程--梳理与总结

* 11--Hadoop HDFS--工作机制--下载文件流程（读文件流程）

* 12--Hadoop HDFS--工作机制--NN和DN之间的通信机制

* Hadoop namenode管理/

* 13--Hadoop HDFS--辅助工具（distcp、archive）

* 14--Hadoop HDFS--namenode 安全模式

* 15--Hadoop HDFS--namenode元数据管理机制--整体概述

* 16--Hadoop HDFS--namenode元数据相关目录文件

* 17--Hadoop HDFS--SNN概述和checkpoint

* 课程内容回顾总结

* 00-课程内容回顾总结

* Hadoop MapReduce入门/

* 01--HDFS读写流程复习总结

* 02--课程内容大纲和学习目标

* 03--Hadoop MapReduce--理解分而治之的思想

* 04--Hadoop MapReduce--官方团队设计构思

* 05--Hadoop MapReduce--介绍、规范

* Hadoop MapReduce示例/

* 06--Hadoop MapReduce官方示例--计算圆周率（如何提交mr到yarn）

* 07--Hadoop MapReduce官方示例--单词统计(WordCount)需求剖析

* 08--Hadoop MapReduce官方示例--Wordcount--程序提交、java代码梳理

* 09--Hadoop MapReduce--python接口接入

* 10--Hadoop MapReduce--Hadoop Streaing提交python脚本

* 11--Hadoop MapReduce--输入输出路径及注意事项

* Hadoop MapReduce工作机制/

* 12--Hadoop MapReduce--工作机制--map阶段执行流程

* 13--Hadoop MapReduce--工作机制--reduce阶段执行流程

* 14--Hadoop MapReduce--工作机制--shuffle机制

* 15--Hadoop MapReduce--工作机制--Partition分区问题

* Hadoop YARN集群/

* 16--Hadoop YARN--功能职责概述

* 17--Hadoop YARN--集群架构、yarn3大组件

* 18--Hadoop YARN--mr程序提交yarn流程

* 19--Hadoop YARN--scheduler调度策略

* 20--Hadoop HA集群--什么是高可用、实现高可用注意事项

* 21--Hadoop HA集群--HDFS HA--QJM实现原理、了解YARN HA

* 00--课程内容回顾总结--MapReduce回顾

* 01--课程内容回顾总结--YARN、HA

* 第三章 Hive/

* 数据仓库/

* 02--课程内容大纲和学习目标

* 03--数据仓库--概念定位、起源由来

* 04--数据仓库--四大核心特征

* 05--数据仓库--OLTP、OLAP区别

* 06--数据仓库--数仓分层架构（ODS、DW、DA）

* 07--数据仓库--案例：数仓建设实践

* 08--数据仓库--ETL、ELT区别

* Apache Hive入门/

* 09--Apache Hive--概述、功能、与Hadoop关系

* 10--Apache Hive--如何模拟实现Hive的实现

* 11--Apache Hive--架构、组件

* 12--Apache Hive--hive与MySQL的差异

* Apache Hive部署/

* 13--Apache Hive--metadata、metastore

* 14--Apache Hive--3种部署模式（推荐掌握远程模式）

* 15--Apache Hive--远程模式安装部署--基础环境、与Hadoop整合

* 16--Apache Hive--远程模式安装部署--配置文件与初始化

* 17--Apache Hive--metastore服务启动、第一代客户端

* 18--Apache Hive--HS2服务启动、beeline客户端使用

* 19--Apache Hive--初体验--把hive当成MySQL的体验--慢

* 20--Apache Hive--初体验--如何才能映射成功文件

* 00--课程内容回顾总结

* Apache Hive建表预计/

* 01--今日课程内容大纲和学习目标

* 02--Apache Hive--DDL--概念与语法树介绍

* 03--Apache Hive--DDL--建表语句--数据类型

* 04--Apache Hive--DDL--建表语句--表存在忽略异常

* 05--Apache Hive--DDL--建表语句--SerDe机制、分隔符指定语法

* 06--Apache Hive--DDL--建表语句--课堂练习--复杂类型分隔符指定

* 07--Apache Hive--DDL--建表语句--默认分隔符

* 08--Apache Hive--DDL--建表语句--location存储位置

* 09--Apache Hive--DDL--建表语句--内部表、外部表

* Apache Hive分桶和分区/

* 10--Apache Hive--DDL--建表语句--分区表产生背景、创建语法

* 11--Apache Hive--DDL--建表语句--分区表创建、静态数据加载、分区裁剪

* 12--Apache Hive--DDL--建表语句--动态分区插入数据

* 13--Apache Hive--DDL--建表语句--多重分区及分区表注意事项

* 14--Apache Hive--DDL--建表语句--动态分区严格模式、非严格模式含义

* 15--Apache Hive--DDL--建表语句--分桶表语法、创建、加载

* 16--Apache Hive--DDL--建表语句--分桶表的好处、注意事项

* 17--Apache Hive--DDL--库、表、分区其他操作--上

* 18--Apache Hive--DDL--库、表、分区其他操作--下

* 19--Apache Hive--常见的show语法

* Apache Hive-DML/

* 20--Apache Hive--DML--load加载数据（注意local含义）

* 21--Apache Hive--DML--insert插入语法

* 22--Apache Hive--DML--insert导出数据操作

* 00--课程内容回顾总结

* Hive SQL DQL/

* 01--课程内容大纲和学习目标

* 附1--DataGrip连接HS2服务

* 02--Hive SQL--DQL--测试环境准备、动态分区使用

* 03--Hive SQL--DQL--基础查询语句及其注意事项

* 04--Hive SQL--DQL--高阶查询--cluster、distribute、sort

* 05--Hive SQL--DQL--高阶查询--CTE表达式

* 06--Hive SQL--DQL--高阶查询--CTE表达式

* 07--Hive SQL--DQL--Join语法及其使用（侧重inner、left）

* 08--Hive SQL--DQL--Join语法注意事项

* Hive SQL内置函数/

* 09--Hive SQL--第一代客户端的功能

* 10--Hive SQL--参数配置方式与优先级范围

* 11--Hive SQL--内置常见运算符

* 12--Hive SQL--函数及分类标准（UDF、UDAF、UDTF）

* 13--Hive SQL--内置函数梳理--字符串函数

* 14--Hive SQL--内置函数梳理--时间日期、数值

* 15--Hive SQL--内置函数梳理--条件转换、集合、加密

* 行列转换/

* 00--课程内容回顾总结

* 01--课程内容大纲和学习目标

* 02--Apache Hive--explode函数的使用与限制（UDTF表生成函数）

* 03--Apache Hive--lateral view侧视图的使用

* 04--Apache Hive--行列转换--多行转单列（collect_list、concat_ws）

* 05--Apache Hive--行列转换--单列转多行（explode、lateral view）

* Hive窗口函数/

* 06--Apache Hive--json格式数据处理

* 07--Apache Hive--窗口函数--快速理解与语法规则

* 08--Apache Hive--窗口函数--聚合函数

* 09--Apache Hive--窗口函数--window子句

* 10--Apache Hive--窗口函数--排序函数（row_number等）

* 11--Apache Hive--窗口函数--排序函数（ntile函数）

* 12--Apache Hive--窗口函数--lag、lead函数

* Hive调优/

* 13--Apache Hive--文件存储格式（text、ORC、parquet）

* 14--Apache Hive--数据压缩和文件格式搭配（ORC+snappy）

* 15--Apache Hive--通用调优--fetch抓取机制、MR本地模式

* 16--Apache Hive--通用调优--join优化

* 17--Apache Hive--通用调优--数据倾斜优化

* 18--Apache Hive--通用调优--MR程序task个数调整

* 19--Apache Hive--通用调优--执行计划

* 20--Apache Hive--通用调优--并行机制、推测执行机制

* 阶段作业 Hadoop技术栈-第2套试卷/

* 试卷

* 阶段五千亿级离线数仓项目/

* 第一章新零售项目/

* 新零售行业背景介绍/

* 01-今日内容

* 02-新零售的行业背景介绍

* 企业常用面试方法

* 业务模块介绍/

* 03-业务模块介绍(商品上架流程)

* 04-业务模块介绍(单店铺的订单流程)

* 05-业务模块介绍(购物车的流程)

* 06-业务模块介绍(配送流程)

* 07-业务模块介绍(退货流程)

* 项目架构介绍/

* 08-项目研发阶段说明

* 09-项目的集群和数据的说明

* 10-项目的架构介绍

* 11-上午总结

* 12-项目的架构介绍

* 环境介绍及部署/

* 13-cloudera manager的基本介绍

* 14-项目本地环境的部署操作

* 15-云环境的说明

* 维度分析介绍/

* 16-数据仓库的基本概念

* 17-数据仓库_维度分析的基本概念(上)

* 18-数据仓库_维度分析的基本概念(下)

* 19-今日总结

* 数仓建模介绍/

* 01-课前回顾和今日内容

* 02-数仓建模的二种建模方式介绍

* 03-维度建模_两种表介绍

* 04-维度建模_数仓发展三种模型(概念)

* 05-维度建模_数仓发展模型(图示)

* 06-维度建模_缓慢渐变维

* 数仓分层介绍/

* 07-数仓的分层介绍

* 08-上午的总结

* HUE的基本操作/

* 09-HUE的基本介绍以及访问操作

* 10-HUE基本使用_操作HDFS

* 11-HUE基本使用_操作HIVE

* oozie的基本操作/

* 12-工作流的基本介绍

* 13-oozie的使用_配置工作流

* 14-oozie的使用_定时配置操作

* 15-oozie的使用_批处理说明(了解)

* sqoop基本操作（上）/

* 16-sqoop的基本介绍

* 17-sqoop的基本使用操作

* 18-sqoop的基本使用_全量导入HDFS操作

* 19-今日总结

* sqoop基本操作（下）/

* 01-课前回顾和今日内容

* 02-sqoop的基本使用操作_全量导入到HIVE

* 03-sqoop的基本使用操作_条件导入到HDFS和HIVE

* 04_sqoop的基本使用操作_全量导出

* 05-sqoop的基本使用操作_相关sqoop参数

* dbeaver安装及数据导入/

* 06-数据库连接工具_dbeaver的安装操作

* 07-数据库连接工具_dbeaver连接mysql操作

* 08-将业务数据导入到MySQL数据库中

* 数仓优化/

* 09-基础优化_HDFS副本以及yarn和MR的资源配置

* 10-基于优化_hive基础配置以及压缩和执行引擎

* 11-HIVE中表存储格式选择方案

* 12-HIVE建表操作_数据存储格式和压缩方案选择

* ODS层数据同步介绍/

* 13-上午内容的总结

* 14-ODS层的数据同步的方式

* 15-HIVE的表说明信息乱码情况解决

* ODS层建表操作/

* 16-ODS层建表操作_各个表同步方式以及全量覆盖表建表操作

* 17-ODS层建表操作_仅新增同步和新增及更新同步建表操作

* 全量同步数据到ODS（上）/

* 18-基于sqoop完成数据导入到ODS层_全量覆盖导入

* 19-基于sqoop完成数据导入到ODS层_仅新增同步导入操作

* 20-基于sqoop完成数据导入到ODS_新增及更新导入操作

* 21-今日总结

* 全量同步数据到ODS（下）/

* 01-课前回顾和今日内容

* 02-在ODS层补充一张店铺表并导入数据

* 03-在ODS层为各不同的同步方式的表模拟一份增量数据

* 增量同步数据到ODS/

* 04-ODS层增量处理操作_全量覆盖表的处理

* 05-ODS层增量处理操作_仅新增同步和增量集更新同步的方案

* 06-ODS层增量处理_shell相关知识补充操作

* 07-ODS层增量处理_shell脚本编写

* 08-ODS层增量处理_shell脚本测试和校验操作

* 09-ODS层增量处理_基于oozie定时调度

* 分桶表/

* 10-上午内容的总结

* 11-分桶表的基本概念

* 12-分桶表的作用_如何提升Join效率

* 13-如何进行分桶采样的操作

* 14-如何使用执行计划, 以及执行计划的说明

* 15-演示_如何向桶表加载数据以及进行采样操作

* DWD层介绍/

* 16-DWD层相关作用说明以及构建DWD层库

* 17-DWD层建表操作实现

* 18-今日总结

* DWD层数据导入/

* 01-课前回顾和今日内容

* 02-DWD层数据导入操作_全量覆盖导入和仅新增同步导入

* 03-DWD层数据导入操作_新增及更新同步导入(转换处理)

* 04-DWD层数据导入操作_新增以及更新(全量导入)

* DWD层拉链表/

* 05-DWD层拉链表流程分析(上)_全量和增量过程

* 06-DWD层拉链表流程分析(中)_步骤一

* 07-DWD层拉链表流程分析(下)_步骤二

* 08-上午内容的总结

* 09-拉链表的整个实施过程

* 10-DWD其他的表处理方案

* join优化/

* 11-原生reduce端Join实现流程

* 12-join的优化_mapJoin整个过程

* 13-JOIN的优化_bucket map Join 说明

* 14-JOIN的优化_SMB join优化

* 15-今日总结

* 订单业务宽表处理（上）/

* 01-课前回顾和今日内容

* 02-DWB层基本介绍和库创建操作

* 03-订单业务宽表_表和表关系说明

* 04-订单业务宽表_建表操作说明

* 订单业务宽表处理（下）/

* 05-订单业务宽表_SQL实现操作(join过程)

* 06-订单业务宽表_SQL字段的实现操作

* 07-订单业务宽表_SQL优化说明以及执行操作

* 店铺明细宽表处理/

* 08-上午内容的总结说明

* 09-店铺明细宽表_表和表关系说明

* 10-店铺明细宽表_建表操作

* 11-店铺明细宽表_SQL实现操作

* 12-商品明细宽表_表和表关系的说明

* 商品明细宽表处理（上）/

* 13-商品明细宽表_建表操作

* 14-商品明细宽表_SQL实现操作(上)

* 商品明细宽表处理（下）/

* 15_-商品分类的具体说明

* 16-商品明细宽表_SQL实现操作(下)

* hive索引介绍/

* 01-课前回顾和今日内容

* 02-索引的基本介绍

* 03-HIVE的原始索引的基本介绍

* 04-HIVE的行组索引的基本介绍

* 05-HIVE的布隆过滤索引的基本介绍

* 06-在实际使用中, 如何应用索引

* join数据倾斜的处理/

* 07-数据倾斜的介绍以及Join倾斜解决方案上

* 08-数据倾斜的解决_JOIN解决方案下

* 09-Join数据倾斜中union all优化措施

* group_by数据倾斜的处理/

* 10-数据倾斜的解决_group by 数据倾斜发生原因

* 11-数据倾斜的解决_group by解决方案(方案一)

* 12-上午内容的总结

* 13-数据倾斜的解决_group by 解决方案二

* 14-如何发现数据倾斜的方式

* DWS层介绍/

* 15-DWS层基本介绍

* 16-DWS层销售主题日统计宽表_需求分析和建表操作

* 17-DWS层销售主题日统计宽表_日期和城市流程分析

* 销售主题日统计宽表处理（上）/

* 01-课前回顾和今日内容

* 02-如何使用dbeaver连接HIVE操作

* 03-销售主题日统计宽表_日期和城市维度

* 04-销售主题日统计宽表_日期和城市(指标统计)上

* 05-销售主题日统计宽表_日期和城市(指标统计)下

* 06-销售主题日统计宽表_日期和城市(写入目标表)

* 销售主题日统计宽表处理（下）/

* 07-销售主题日统计宽表_日期,城市和商圈统计

* 08-数仓中订单明细宽表数据特点(存在重复)

* 09-上午内容的总结

* 10-销售主题日统计宽表_日期和品牌流程分析处理

* 11-销售主题日统计宽表_日期和品牌SQL实现

* hive优化/

* 12-HIVE的其他优化_关联优化器和并行执行

* 13-HIVE的其他优化_HIVE小文件合并操作

* 14-HIVE的其他优化_矢量化查询和读取零拷贝

* presto基本介绍/

* 15-presto的基本介绍

* 16-presto的安装操作

* 17-如何使用dbeaver连接presto

* presto特点/

* 01-课前回顾和今日内容

* 02-presto的架构介绍

* 03-presto的日期类型的转换操作和计算操作

* 04-Presto的内存的调整操作

* 05-Presto中SQL特殊优化说明

* 06-Presto其他的补充说明点

* presto高级函数/

* 07-Presto高级函数_grouping sets 使用

* 08-Presto高级函数_cube操作

* 09-presto高级函数_rollup说明

* 10-presto的高级函数_grouping操作

* 销售日统计宽表（上）/

* 11-上午内容的总结

* 12-销售日统计宽表_SQL实现_去重处理

* 13-销售日统计宽表_分析为什么要做那么多的去重操作

* 14-销售日统计宽表_维度字段和group_type处理操作

* 销售日统计宽表（下）/

* 15-销售日统计宽表_指标统计(销售收入)

* 16-销售日统计宽表_指标统计(销售额相关指标)

* 17-销售日统计宽表_指标统计(订单量相关统计)

* 18-销售主题日统计宽表_导入数据操作以及测试

* 商品主题日统计宽表处理（上）/

* 01-课前回顾和今日内容

* 02-DWS层商品主题日统计宽表的建表操作

* 03-DWS层商品主题日统计宽表_需求分析

* 04-DWS层商品主题日统计宽表_指标实现(前二类)

* 05-DWS层商品主题日统计宽表_后续的指标统计

* 商品主题日统计宽表处理（下）/

* 06-二个表全外关联实现流程分析以及三个表引入

* 07-上午内容的总结说明

* 08-三个表进行全外关联的流程分析

* 09-DWS层商品主题日统计宽表_整体合并实现

* 销售主题宽表实现（上）/

* 10-DM层介绍以及建库和建表操作

* 11-DM层销售主题宽表实现_按日统计

* 销售主题宽表实现（下）/

* 12-DM层销售主题宽表实现_上卷统计的分析说明(上)

* 13-DM层销售主题宽表实现_上卷统计分析(中)

* 14-DM层销售主题宽表实现_上卷统计分析流程(下)

* 销售主题的统计宽表处理（上）/

* 01-课前回顾和今日内容

* 02-DM层销售主题的统计宽表_按周统计(指标)

* 03_DM层销售主题的统计宽表_按周统计(指标处理)

* 04-DM层销售主题统计宽表_按月和年进行统计

* 销售主题的统计宽表处理（中）/

* 05-DM层销售主题的统计宽表的增量处理思路

* 06-DM层商品主题的统计宽表_建表操作

* 07-DM层商品主题的统计宽表_统计总累计值和最近30天

* 08-DM层商品主题的统计宽表_合并结果

* 销售主题的统计宽表处理（下）/

* 09-上午内容的总结

* 10-DM层商品主题的统计宽表_增量的实现操作

* RPT层实现/

* 11-RPT层相关内容_需求一

* 12-RPT层相关内容_需求二

* 报表展示/

* 13-基于presto进行数据导出操作

* 14-图表展示工作

* 项目总结/

* 15-项目的总结说明

* 16-相关的面试题说明

* 阶段作业 Python数据处理与分析实战-第1套试卷/

* 试卷

* 阶段六 Spark技术栈/

* 第一章 PySpark/

* Spark介绍/

* 01-今日内容说明

* 02-Spark的基本介绍

* 03-Spark为什么执行效率比较高

* 04-Spark发展史

* Spark特点/

* 05-Spark的特点(前二个)

* 06-Spark的特点(后二个)

* Spark local模式/

* 07-local模式的基本介绍

* 08-如何更改网络适配器方案

* 09-如何安装local模式

* 10-上午内容的总结

* Pysaprk环境安装/

* 11-如何安装anaconda

* 12-安装好python环境后直接使用pyspark命令

* 13-安装pyspark库

* 集群介绍及Pycharm环境/

* 14-Spark集群模式的架构介绍

* 15-pycharm如何连接远程环境

* 16-pycharm的一些高级功能

* WordCount案例方式一/

* 17-WordCount的流程分析

* 18-WordCount代码实现(上)

* 19-WordCount代码实现(下)

* 20-今日总结

* PySpark 入门示例/

* 01-课前回顾和今日内容

* 02-pySpark的入门案例_从HDFS读取数据写入到HDFS

* 03-pySpark的入门案例_排序操作

* 04-如何将spark程序提交到平台运行(初体验Local)

* Spark On Yarn/

* 05-spark on yarn集成操作

* 06-Spark On Yarn测试操作

* 07-Spark On Yarn提交测试以及Spark程序组成部分

* Spark提交运行/

* 08-Spark提交运行的两种部署方式

* 09-Spark的提交运行的两种方式_如何查看日志

* 10-Spark和PySpark的交互流程图(上)

* 11-上午内容的总结

* Spark与PySpark交互/

* 12-Spark和PySpark的交互流程(下)

* 13-Spark和PySpark的交互流程(集群模式)

* 14-Spark和PySpark交互流程(YARN)

* 15-Spark-submit的相关参数说明

* RDD介绍与特点/

* 16-RDD的基本介绍

* 17-RDD的五大特性

* 18-RDD的五大特点

* RDD构建/

* 19-如何构建RDD_方式一

* 20-今日总结

* PySpark DateSource/

* 01-课前回顾和今日内容

* 02-通过读取外部文件的方式以及小文件合并

* 03-读取外部文件的分区数量的确定

* RDD Transformations 算子及action算子/

* 04-RDD算子的分类介绍

* 05-RDD算子_转换算子(单值类型)

* 06-RDD算子_转换算子(双值类型)

* 07-RDD算子_转换算子(kv类型)

* 08-上午内容的总结

* 09-RDD相关算子_action算子

* RDD 分区/

* 10-RDD重要函数_分区函数

* 11-RDD的重分区的函数(上)

* 12-RDD的重分区的函数(下)

* RDD 聚合/

* 13-RDD的重要函数_聚合函数(单值)

* 14-RDD的重要算子_聚合函数(kv类型)

* 15-RDD的重要算子_关联函数

* 16-今日总结

* PySpark 搜索案例/

* 01-课前回顾和今日内容

* 02-搜狗案例的数据集说明

* 03-如何在pycharm设置模板

* 04-搜索案例实现_数据封装操作

* 05-搜索案例实现_需求一实现

* 06-搜索案例实现_需求二实现

* 07-点击流分析案例_需求1和需求2

* RDD 缓存/

* 08-今日内容的说明

* 09-缓存的基本介绍(理解)

* 10-缓存的基本使用操作

* RDD 检查点/

* 11-检查点的基本介绍

* 12-检查点的基本使用

* 13-缓存和检查点的区别

* 14-缓存和检查点共用操作

* RDD共享变量/

* 15-RDD共享变量的引入操作

* 16-RDD的共享变量_广播变量

* 17-RDD的共享变量_累加器的使用操作

* RDD累加器/

* 18-RDD的累加器的小问题说明(重复累加)

* 19-上午内容的总结

* DAG流程图/

* 20-RDD内核调度_RDD的依赖关系

* 21-DAG以及DAG流程图形成说明

* 22-DAG的阶段划分以及线程的划分操作

* 23-DAG和stage的划分操作(细化操作)

* RDD内核调度/

* 24-RDD内核调度_RDD的shuffle

* 25-RDD的内核调度_JOB的调度流程

* 26-RDD的内核调度_Spark的并行度

* 27-了解combinerByKey

* 28-今日总结

* SparkSQL介绍/

* 01-课前回顾和今日内容

* 02-SparkSQL的基本概念

* 03-Spark SQL的发展历程

* 04-Spark SQL 和 HIVE SQL异同点

* SparkSQL入门示例/

* 05-Spark SQL中数据结构

* 06-Spark SQL入门代码_如何构建SparkSession对象

* 07-Spark SQL入门案例代码

* PySpark DateFrame/

* 08-Spark SQL的dataFrame介绍

* 09-如何构建dataFrame对象_RDD转换DF

* 10-如何构建dataFrame对象_pandas的DF转换为Spark的DF

* 11-如何构建dataFrame对象_读取外部的方式

* 12-上午内容的总结

* 13-如何构建dataFrame_json以及总结说明

* 14-dataFrame的相关的API_DSL

* 15-dataFrame的相关的API_SQL方案

* 16-dataFrame的相关API_代码演示

* WordCount案例方式二/

* 17-综合案例_WordCount案例(RDD转DF方案)

* 18-综合案例_WordCount案例的方式二

* 电影分析案例/

* 19-综合案例_电影分析案例需求一

* 20-综合案例_电影分析案例需求四_SQL实现

* 21-综合案例_电影分析案例_需求四

* 22-今日总结

* Spark SQL/

* 01-课前回顾和今日内容

* 02-Spark SQL的shuffle分区数量设置

* 03-Spark SQL的清洗相关的API演示

* 04-Spark SQL的输出操作_输出普通文件

* 05-Spark SQL的输出操作_输出到Mysql

* pandas介绍/

* 06-pandas的基本介绍及其入门案例

* 07-pandas的两个重要数据类型_series

* 08-pandas的两个重要的数据类型_dataFrame

* 09-pandas的数据的读写文件操作

* 10-上午内容的总结

* 11-pandas的读写数据库的操作

* 窗口函数/

* 12-pyspark SQL中函数_如何使用窗口函数_SQL

* 13-spark sql中函数_如何使用窗口函数_DSL

* 自定义UDF函数/

* 14-spark SQL的自定义UDF函数_使用步骤

* 15-spark SQL的自定义UDF函数_返回基本数据类型

* 16-spark SQL的自定义UDF函数_返回列表或者字典

* pandas UDF/

* 17-Spark SQL的pandas的UDF_如何互转DF操作

* 18-spark SQL的pandas的UDF使用操作

* 19-spark SQL的pandas的UDAF函数使用以及作业说明

* 20-今日总结

* Spark On Hive/

* 01-课前回顾和今日内容

* 02-Spark ON hive的基础原理说明

* 03-测试HIVE是否可以正常的启动

* 04-spark on hive的集成配置操作

* 05-Spark On HIVE 的集成_如何通过代码连接

* 06-Spark ON HIVE_分布式引擎(模拟hive server2)

* 07_spark on hive的分布式引擎_通过datagrip连接

* Spark SQL运行机制/

* 08-spark SQL的运行机制_回顾Driver执行流程

* 09-Spark SQL的运行机制详解

* 10-如何查看SQL的物理执行计划

* 新零售案例/

* 11-上午内容的总结

* 12-综合案例_新零售案例需求说明

* 13-综合案例_新零售案例实现_清洗操作

* 14-综合案例_新零售案例实现_需求一实现

* 15-综合案例_新零售案例_需求3和需求5

* 16-综合案例_新零售案例_需求9

* 17-综合案例_教育项目案例需求实现

* Spark总结/

* 18-spark阶段大总结(上)

* 19-spark阶段大总结(下)

* 阶段作业 Spark技术栈-第2套试卷/

* 试卷

* 阶段七 PB级内存计算项目实战/

* 第一章富华保险/

* 保险业务说明/

* 01-今日内容说明

* 02-行业背景介绍

* 03-保险的分类和精算的介绍

* 04-保险行业相关的专业术语

* 05-保险行业的相关特点

* 06-用户投保流程

* 07-再保险部门的基本介绍

* 08-保险的分类(风险转移和理财型)

* 09-保险数据的业务数据来源地说明

* 10-项目背景说明

* 项目业务需求与架构介绍/

* 11-上午内容的总结

* 12-项目的需求描述

* 13-项目架构的描述以及技术选型

* 14-项目的基本情况的说明

* 项目虚拟机说明/

* 15-项目的统一环境的虚拟机说明

* 16-项目成果演示工作

* 大数据计算演示/

* 17-大数据计算流程的演示

* 18-今日总结

* 数仓建模/

* 01-课前回顾和今日内容

* 02-数仓的基本介绍

* 03-维度分析的基本内容

* 04-数仓建模的两套理论基本介绍

* 05-维度建模中事实表和维度表的基本介绍

* 06-维度建模中三种模型的整体说明

* 07-缓慢渐变维说明

* 数仓分层/

* 08-上午内容的总结

* 09-数据仓库的分层的基本描述

* 10-数仓架构技术选型说明

* 项目环境搭建/

* 11-如何清理远端环境

* 12-如何构建远端环境以及构建基础项目目录

* 13-基于pycharm连接远端服务器(替换CRT)

* 14-基于pycharm连接MySQL和spark

* 15-清洗昨日相关的数据集

* 16-将基础数据导入到Mysql中

* 17-今日总结

* hive数仓建库建表/

* 01-课前回顾和今日内容

* 02-hive中建表的思考点

* 03-启动项目的整体环境

* 04-在hive中构建ODS层库和表

* 基于sqoop完成数据采集/

* 05-sqoop的基本介绍

* 06-sqoop的安装操作

* 07-sqoop的基本使用操作

* 08-sqoop的数据采集操作实施

* 09-上午内容总结

* 10-完成后续的采集的脚本

* DolphinScheduler的使用/

* 11-DS的基本介绍

* 12-DS的安装配置操作

* 13-DS的安装与启动操作

* 14-DS的架构的说明

* 15-DS的基本使用操作

* 16-DS的工作流的配置和测试操作

* 17-使用DS完整ODS层数据采集操作

* 18-今日总结

* 寿险定价规则/

* 01-课前回顾和今日内容

* 02-寿险的定价的循环流程

* 03-寿险的定价原则

* 04-寿险定价假设

* 05-寿险传统定价方法说明

* 窗口函数回顾/

* 06-如何生成多行序列操作

* 07-如何快速生成一张表数据

* 08-回顾窗口函数_row_number以及兄弟们

* 09-回顾窗口函数_与聚合函数结合使用

* 10-回顾窗口函数与lead和lag以及其他计算函数操作

* 迭代计算/

* 11-上午内容的总结

* 12-如何进行横向迭代计算操作

* 13-如何进行纵向迭代计算操作(方式一)

* 14=如何进行纵向迭代计算操作(方式二)

* 15-UDAF函数结合窗口函数执行的流程说明

* 保费参数因子需求解析/

* 16-计算保费参数因子_需求说明(上)

* 17-计算保费参数因子_需求说明(下)

* 18-在DW层构建表以及字段信息说明

* 19-在DW层实现保费参数因子表的维度表生成

* 20-今日总结

* 保费参数因子表计算_上/

* 01-课前回顾和今日内容

* 02-保费参数因子表计算_步骤一

* 03-保费参数因子表计算_步骤二

* 04-保费参数因子表计算_步骤三

* 05-使用spark程序读取SQL脚本执行

* 06-保费参数因子表计算_步骤四(上)

* 07-保费参数因子表计算_步骤四(下)

* 08-保费参数因子表计算_步骤四的计算流程讲解

* 09-保费参数因子表计算_步骤五

* 保费参数因子表计算_下/

* 10-上午内容的总结说明

* 11-保费参数因子表计算操作_步骤五的函数流程说明

* 12-保费参数因子表计算操作_步骤六

* 13-保费参数因子表计算操作_步骤七

* 14-保费参数因子表计算操作_步骤八

* 15-保费参数因子表计算操作_步骤九

* 16-保费参数因子表计算操作_步骤10

* 17-保费参数因子表计算_保存至目标表

* 计算保费/

* 18-保费计算操作_结果表创建操作

* 19-保费计算操作_中间结果的计算实现_步骤11

* 20-保费计算流程_步骤12

* 21-保费计算流程_保存到目标表

* 现金价值计算_上/

* 01-课前回顾和今日内容

* 02-现金价值和保险准备金基本介绍

* 03-现金价值的需求说明

* 04-现金价值计算_建表操作

* 05-现金价值表计算_步骤13

* 06-现金价值表计算_步骤14~16计算操作

* 07-现金价值表计算_步骤17~18

* 现金价值计算_下/

* 08_现金价值计算_将毛保费结果保存到目标表

* 09-现金价值计算_步骤19

* 10-上午内容的总结

* 11-现金价值计算_步骤20~21

* 12-现金价值计算_步骤22~23

* 13-现金价值计算_导入到目标表

* 保险准备金计算/

* 01-保险准备金的需求分析以及建表操作

* 02-保险准备金计算_步骤24

* 03-保险准备金计算_步骤25

* 04-保险准备金计算_步骤26

* 05-保险准备金计算_步骤27

* 06-保险准备金计算_步骤28

* 07-保险准备金计算_步骤29~33

* 08-保险准备金计算_基于窗口函数实现聚合操作

* APP层计算操作/

* 09-APP层计算操作_保险精算结果表构建

* 10-app层计算操作_保险精算结果表导入操作

* 11-将数据导出到MySQL中

* 01-课前回顾和今日内容

* 用户投保详情计算/

* 02-用户投保详情表计算操作(上)

* 03-用户投保详情表计算操作(下)

* 计算保费收入增长率、首年保费与保费收入比/

* 04-计算保费收入增长率

* 05-计算首年保费与保费收入比(上)

* 06-计算首年保费与保费收入比(下)

* 件均保费及死亡发生率和残疾发生率计算/

* 07-计算件均保费

* 08-死亡发生率和残疾发生率

* 09-上午内容的总结

* 新业务价值率，高净值客户比例，各地区汇总保费计算/

* 10-新业务价值率的计算操作

* 11-高净值客户比例计算

* 12-各地区的汇总保费

* 上线yarn平台/

* 13-app指标说明

* 14-基于Yarn完成项目上线操作

* 项目总结/

* 15-项目总结(上)

* 16-项目总结(中)

* 17-项目总结(下)

* 18-面试总结

* 就业能力-试用期&工作常识科普/

* 01-应聘渠道使用技巧

* 02-面试篇1

* 03-面试篇2

* 04-试用期篇1

* 05-试用期篇2

* 阶段作业离线数仓项目-知行教育-第1套试卷/

* 试卷