Python+数据分析精英进阶课

针对目前很多经过培训或自学后任就业困难、薪资低，以及刚入行IT行业1-3年的初级程序员，薪资提升慢或者难以提升的现状，传智播客向全行业重磅推出“Python+数

* 阶段一数据开发课程/

* 第一章数据开发/

* day01/

* 1. 上课流程

* 2. 大数据介绍1

* 3.大数据应用场景

* 4.大数据介绍

* 5.入门知识介绍

* 6.Linux介绍

* 7.虚拟机的介绍

* 8.网络配置

* 9.网络配置2

* 10.解决网络问题

* 11.网络配置和连接工具

* 12.Linux目录结构介绍

* 13. Linux命令之ls

* 14.linux命令之pwd

* 15.Linux命令之cd

* 16.Linux命令之mkdir

* day2/

* 1. 反馈

* 2.回顾

* 4.linux命令之touch

* 5.Linux命令之mv

* 6.linux 命令之cat

* 7.linux命令之more

* 8.Linux命令之cp

* 9.回顾

* 10.Linux命令之ps

* 11.linux命令之kill

* 12.Linux命令之ifconfig

* 13.Linux命令之清屏

* 14.Linux系统关机命令

* 15.Linux命令之hostname

* 16.Linux命令之tar

* 17.linux 命令之grep

* 18.linux命令之管道

* 19.linux命令之which

* 20.vi编辑器

* 21.总结

* day03/

* 1.反馈

* 2.回顾

* 3.Linux命令之useradd

* 4.linux命令之权限

* 5.数据库介绍

* 6.mysql安装和datagrip安装

* 7.datagrip连接mysql

* 8.回顾

* 9. mysql的介绍

* 10.DDL之数据库

* 11.DDL之表操作

* 12.DDL之表结构操作

* 13.DML操作之插入数据insert

* 14.总结

* day04/

* 1.反馈

* 2.回顾

* 3.DML操作之update

* 4.DML操作之delete

* 5.约束之主键约束

* 6.约束之自增

* 7. 约束之not null

* 8.约束之unique

* 9.回顾

* 10.简单查询

* 11. 条件查询1

* 12. null的判断

* 13.逻辑运算符

* 14. order by 排序

* 15.总结

* day05/

* 1. 反馈

* 2.回顾

* 3.聚合函数

* 4.group by分组查询

* 5.having二次过滤

* 6.回顾

* 7.limit查看有限条数据

* 8.insert into 插入结果数据到结果表

* 9.主外键关系

* 10.内连接查询

* 11.左连接与右连接

* 12.子查询

* 13.索引介绍

* 14.查看函数

* 15.总结

* day06/

* 1.反馈和回顾

* 2.练习

* 3.练习2

* 4.case when

* 5.sql的重要性

* 6.数据分析介绍

* 7.excel基本操作

* 8.excel的数据处理

* 9.excel常用的函数

* 10.excel创建图表

* 11.生成透视表和透视图

* 12.第四天的练习

* day07/

* 1.反馈

* 2.kettle的介绍

* 3.kettle入门-TXT文本抽取到excel

* 4.将excel数据抽取到表里面

* 5.将表数据抽取到另外一张表

* 6.插入更新操作

* 7.switch_case条件判断

* 8.设置转换参数

* 9.window下执行job任务

* 10.删除组件

* 11.Linux环境下执行转换任务

* day08/

* 1.finebi介绍

* 2.数据准备

* 3.选择数据库里面的表

* 4.根据学科制表

* 5.不同城市的学生数量

* 6.不同地区的访问人数

* 7.集团分析-数据准备

* 8.集团分析-按月分析销售额

* 9.集团分析-按月分析毛利率

* 10.集团分析-按省市分析毛利率

* 11.集团分析-按门店分析毛利率

* 12.集团分析-按毛利率分析产品类别销售情况

* 13.集团分析-按毛利率分析产品销售情况

* day09/

* 1.了解表数据

* 2.加载数据到mysql

* 3.使用kettle抽取数据到数据仓库

* 4.表的介绍

* 5.统计总金额和总订单个数

* 6.统计不同用户数

* 7.按支付方式统计总金额和总笔数

* 8.统计不同用户的订单个数TOP5

* 9.按照一级分类统计总金额和总笔数

* 10.添加索引提高查询速度

* 11.fineBI数据可视化

* 14.电商案例介绍

* 15.创建工程用datagrip连接mysql

* day10/

* 1.反馈和Hadoop基础介绍

* 2.分布式和集群的区别

* 3.Hadoop的介绍

* 4.Hadoop国内外的应用

* 5.Hadoop1.x与Hadoop2.x的区别

* 6.hdfs和yarn角色介绍

* 7.单机和集群的介绍

* 8.内存设置

* 9.回顾

* 10. hdfs的介绍

* 11.MapReduce测试集群案例

* 12.hdfs的特点

* 13.hdfs的四个角色

* 14.hdfs的shell命令

* 15.基准测试

* 16.总结

* day11/

* 1.反馈

* 2. 回顾

* 3.数据库与数据仓库的区别

* 4.数据仓库的分层

* 5.hive介绍

* 6.启动hiev和进入hive终端

* 7.数据库操作

* 8.表的基本操作

* 9.本地加载数据到hive表

* 10.hdfs加载数据到表

* 11.回顾

* 12.外部表操作

* 13.一级分区表

* 14. 多级分区表

* 15.分区操作

* 16.zeppeline使用

* 17.SQL查询

* 18.Hive的内置函数

* 19.hive总结

* day12/

* 1.反馈

* 2.作业1

* 3.作业2

* 4.项目业务背景介绍

* 5.滴滴4张表的介绍

* 6.分层和表的创建

* 7. 生成宽表数据

* 8.回顾

* 9.统计总订单个数

* 10.统计预约和非预约的占比

* 11.按时间段统计订单个数

* 12.按职业统计订单个数求TOP5

* 13.求取消订单的占比

* 14.将订单总笔数的数据导出到mysql表

* 15.将hive结果表数据导出到mysql

* 16.数据可视化

* day13/

* 1.反馈

* 2.回顾

* 3.了解项目架构

* 4.维度表和实时表的介绍

* 5.三种模型的介绍

* 6.从事实表引出拉链表

* 7.缓慢变化维介绍

* 8.拉链表实现1

* 9.回顾

* 10.dw层拉链表实现

* 11.拉链表实现补充

* 12.了解表结构

* 13.mysql数据准备

* 14.从mysql导入数据到hive的ods层

* 15.导入数据到dw拉链表

* 16.dw数据加载

* 17.指标1的分析

* 18.总结

* day14/

* 1.反馈和回顾

* 2. 按时间类型统计订单个数和总金额

* 3.根据一级分类、二级分类，支付类型计算订单个数和金额

* 4. sqoop导出数据到MySQL

* 5.fineBI可视化

* 6. 日志数据处理流程

* 7.进入Nginx的web界面

* 8.日志数据介绍

* 9.flume介绍

* 10.实时采集web端日志数据

* 11.采集大文件到hdfs指定目录

* 12. hdfs日志数据预处理

* day15/

* 1.反馈

* 2.回顾

* 3.生成宽表

* 4.骨灰级指标的计算

* 5.骨灰级指标入库

* 6.按小时统计访问次数

* 7，按天统计访问次数

* 8.人均访问页面次数

* 9.页面跳出率

* 10.热门页面TOP10

* 11. 漏斗模型数据准备

* 12.相对占比

* 13漏斗模型计算

* 14.数据导出到MySQL

* 15.fineBI数据可视化

* 16.superset可视化-补充

* day16/

* 1.Linux命令

* 2.mysql

* 阶段二黑马测试监控系统/

* 第一章黑马测试监控系统-基础系统环境搭建/

* 虚拟机安装与克隆/

* 01-虚拟机安装

* 02-虚拟机安装配置

* 03-修改虚拟机的硬件配置

* 04-关闭防火墙和白名单服务

* 05-ssh远程连接虚拟机

* 06-克隆虚拟机

* 07-调整vmware虚拟机ip地址

* python环境安装/

* 08-python开发环境安装1

* 09-python开发环境安装2

* 10-pycharm远程调试-建立项目路径映射的连接

* 11-pycharm远程调试-使用远程python环境

* 12-监控、链路追踪与日志的区别和联系

* 第二章黑马测试监控系统-locust压力测试/

* locust快速入门/

* 13-locust介绍与安装

* 14-使用fastapi搭建被测项目

* 15-完成locustfile测试脚本

* 16-启动locust

* 17-locust的使用

* locust详解/

* 18-locust参数化

* 19-locust界面说明-statistics

* 20-locust界面说明-charts

* 21-locust界面说明-失败异常数据下载以及顶边栏

* 22-locust常用启动参数

* 23-locust分布式启动参数

* 第三章黑马测试监控系统-elasticsearch/

* es安装启动/

* 24-elasticStack介绍

* 25-elasticStack技术栈构成详细解读

* 26-了解elasticsearch

* 27-es下载安装以及配置

* 28-es集群启动以及避坑

* 29-es-head插件的安装

* es概念与原理/

* 30-es的基本概念1

* 31-es的基本概念2

* 32-es的基本概念3

* 33-es常见数据类型

* 34-es其他数据类型

* 35-es原理-倒排索引

* 36-es原理-词法分析

* 37-es原理-集群故障转移与脑裂

* 38-es原理-如何确定文档在哪个主分片

* 39-es原理-处理写请求的过程

* 40-es原理-读取一条文档的过程

* 41-es原理-全文搜索的过程

* es分词器/

* 42-es分词器的使用

* 43-es中文分词器的使用

* es常见api/

* 44-es的api-集群节点分片操作

* 45-es的api-创建索引并设置映射及分词器

* 46-es的api-查看索引信息

* 47-es的api-索引别名操作

* 48-es的api-reindex修改映射

* 49-为什么要使用索引别名

* 50-es的api-索引的删除、关闭打开、冻结解冻操作

* 51-es的api-写入文档

* 52-es的api-删除文档

* 53-es的api-更新文档

* 54-es的api-普通查询

* 55-es的api-多条文档的查询

* 56-es的api-全文检索

* 57-es的api-re搜索和高亮查询

* 58-es的api-范围查询和bool查询

* 59-es的api-聚合查询以及根据文档使用api

* 60-es的api-boost调整权重得分

* 61-es的api总结回顾1

* 62-es的api总结回顾2

* 63-es的api总结回顾3

* 64-es的api总结回顾4

* 65-es的api总结回顾5

* python操作es/

* 66-python和es交互

* 第四章黑马测试监控系统-beats/

* filebeat/

* 67-Beats章节内容介绍

* 68-nginx下载安装启动

* 69-filebeat下载安装简单运行

* 70-filebeat读取文件

* 71-filebeat输出到es

* 72-自定义nginx日志输出格式

* 73-filebeat收集nginx日志

* 74-filebeat多输入输出及自定义es索引名

* 75-filebeat启动停止的方法

* 76-filebeat模板的启动禁用

* 77-filebeat模板收集Nginx日志

* 78-filebeat模板解析nginx日志说明

* 79-filebeat模板收集redis日志

* 80-filebeat总结

* metricbeat/

* 81-metricbeat收集系统指标输出到es

* 82-metricbeat采集redis服务指标数据

* packetbeat/

* 83-packetbeat采集网络数据

* 第五章黑马测试监控系统-kibana/

* kibana/

* 84-kibana安装配置启动

* 85-kibana创建索引模式

* 86-kibana展示filebeat采集的Nginx日志

* 87-kibana创建图表

* 88-kibana创建仪表板

* 89-kibana展示metricbeat采集的系统指标数据

* 90-kibana展示packetbeat采集的网络数据

* 91-kibana展示自定义的地理坐标数据

* 92-kibana中设置索引生命周期模板

* 93-索引生命周期补充说明

* 阶段三 Web安全/

* 第一章 Web安全快速入门/

* 安全体系/

* 000_课程概况(定位+框架+环境)

* 001_快速入门之安全体系(客户端安全-整体认知+方法解析)

* 002_快速入门之安全体系(服务端安全-整体认知+环境解析)

* 003_快速入门之安全体系(安全管理-研发流程+安全措施)

* 004_快速入门之安全体系(安全管理-技术运营+安全策略)

* 005_快速入门之安全体系(安全策略-基本术语)

* 006_快速入门之安全体系(安全策略-策略手段)

* 007_快速入门之安全体系(安全环境-环境简介+靶机部署)

* 008_快速入门之安全体系(安全环境-靶机部署2)

* 009_快速入门之安全体系(安全环境-攻击机部署1)

* 010_快速入门之安全体系(安全环境-攻击机部署2+代码集成)

* 文件安全/

* 011_快速入门之文件安全(基本安全-代码解析+功能演示)

* 012_快速入门之文件安全(基本安全-安全隐患+属性限制)

* 013_快速入门之文件安全(安全隐患-隐患解析+数据拦截)

* 014_快速入门之文件安全(安全隐患-数据修改实践)

* 015_快速入门之文件安全(进阶安全-白名单策略+代码实践)

* 016_快速入门之文件安全(中级安全-后缀绕过+内容属性)

* 017_快速入门之文件安全(高级安全-内容隐患+思路梳理)

* 018_快速入门之文件安全(高级安全-代码改进+思路梳理)

* XSS安全/

* 019_快速入门之XSS安全(基础知识-XSS基础+原理详解)

* 020_快速入门之XSS安全(简单实践-XSS环境+反射XSS)

* 021_快速入门之XSS安全(简单实践-反射型XSS2+存储型XSS)

* 022_快速入门之XSS安全(简单实践-DOM环境+DOMXSS实践)

* 023_快速入门之XSS安全(简单实践-基本语法+代码演示1)

* 024_快速入门之XSS安全(简单实践-代码演示2+思路梳理)

* 025_快速入门之XSS安全(安全措施-挖掘+构造闭合1)

* 026_快速入门之XSS安全(安全措施-构造闭合2)

* 027_快速入门之XSS安全(安全措施-构造绕过+防范措施)

* 028_快速入门之XSS安全(安全措施-防范实践)

* SQL安全/

* 029_快速入门之SQL安全(基础知识-安全体系+SQL隐患)

* 030_快速入门之SQL安全(注入环境-软件部署+用户权限)

* 031_快速入门之SQL安全(注入环境-模块部署+简单实践)

* 032_快速入门之SQL安全(注入环境-业务逻辑+效果演示)

* 033_快速入门之SQL安全(进阶语法-常用语句)

* 034_快速入门之SQL安全(进阶语法-函数+元数据)

* 035_快速入门之SQL安全(进阶语法-拼接+截取)

* 036_快速入门之SQL安全(进阶语法-编码+文件)

* 037_快速入门之SQL安全(进阶语法-其它+综合)

* 038_快速入门之SQL安全(进阶语法-逻辑语句)

* 039_快速入门之SQL安全(注入原理-基本流程+条件格式)

* 040_快速入门之SQL安全(注入原理-布尔解析+union解析)

* 041_快速入门之SQL安全(注入实践-测试隐患+挖掘漏洞)

* 042_快速入门之SQL安全(注入实践-hackbar+演示)

* 043_快速入门之SQL安全(注入实践-脱裤演示)

* 044_快速入门之SQL安全(攻防策略1-环境准备+符号防护)

* 045_快速入门之SQL安全(攻防策略1-安全绕过+代码改进)

* 046_快速入门之SQL安全(攻防策略2-白名单策略+进阶策略)

* 第二章 Web安全进阶/

* 安全体系/

* 047_安全进阶之安全体系(体系详解-学习目标+架构级别)

* 048_安全进阶之安全体系(体系详解-框架级别+代码级别)

* 049_安全进阶之安全体系(防范策略-架构+框架+代码)

* WAF实践/

* 050_安全进阶之WAF实践(基础知识-简介+分类+原理)

* 051_安全进阶之WAF实践(环境部署-准备工作+软件环境)

* 052_安全进阶之WAF实践(环境部署-软件环境2)

* 053_安全进阶之WAF实践(lua基础-基础知识+简单语法1[使用+注释+变量])

* 054_安全进阶之WAF实践(lua基础-简单语法2[数据结构])

* 055_安全进阶之WAF实践(lua基础-简单语法3[运算符])

* 056_安全进阶之WAF实践(lua基础-简单语法4[cjson])

* 057_安全进阶之WAF实践(进阶语法-逻辑语句1[条件+循环])

* 058_安全进阶之WAF实践(进阶语法-逻辑语句2[函数]+文件操作)

* 059_安全进阶之WAF实践(案例实践-if指令+nginx策略1)

* 060_安全进阶之WAF实践(案例实践-nginx策略2)

* 061_安全进阶之WAF实践(案例实践-waf集成)

* 062_安全进阶之WAF实践(案例实践-waf集成2)

* 063_安全进阶之WAF实践(原理解析-语言关联+目录结构+配置详解1)

* 064_安全进阶之WAF实践(原理解析-配置详解2[白名单流程])

* 065_安全进阶之WAF实践(原理解析-配置详解3+小结)

* 066_安全进阶之WAF实践(防护实践-环境准备)

* 067_安全进阶之WAF实践(防护实践-流程梳理)

* 068_安全进阶之WAF实践(防护实践-策略实践)

* 069_安全进阶之WAF实践(防护实践-小结)

* 认证体系/

* 070_安全进阶之认证体系(认证基础-功能定位+认证术语)

* 071_安全进阶之认证体系(信息认证-定位+摘要+签名)

* 072_安全进阶之认证体系(身份认证-原理解析+管理流程)

* 073_安全进阶之认证体系(证书实践-环境准备+CA证书1)

* 074_安全进阶之认证体系(证书实践-CA自签名证书)

* 075_安全进阶之认证体系(证书实践-CA签发证书)

* 076_安全进阶之认证体系(HTTPS实践-原理解析+https实践1)

* 077_安全进阶之认证体系(HTTPS实践-https实践2)

* 078_安全进阶之认证体系(HTTPS实践-https实践3)

* 阶段四 SQL高级/

* 第一章 SQL高级/

* day01/

* 01-（重点）MySQL8.0软件安装与部署

* 02-（重点）使用Navicat连接MySQL数据库

* 03-（了解）数据前期准备

* 04-（了解）SQL中注释

* 05-（重点）SQL查询五子句

* 06-（重点）回顾where子句应用（上）

* 07-（重点）回顾like模糊查询语句

* 08-（重点）回顾范围查询

* 09-（易错点）回顾NULL空值判断

* 10-（重点）回顾order by排序规则（重点理解NULL值排序）

* 11-（重点）回顾limit子句（限制查询数量）

* 12-（重点）回顾常见的5个聚合函数

* 13-（扩展）ifnull函数（空值判断与处理）

* 14-（重点）回顾group by分组子句

* 15-（重点）回顾having子句（重点掌握where-groupby-having执行顺序）

* 16-（了解）学习目标

* 17-（准备）窗口函数数据准备

* 18-（入门）窗口函数语法与快速入门

* 19-（小结）窗口函数的优点

* 20-（案例）求员工表中所有员工的平均工资

* 21-（案例）SUM与AVG与窗口函数的结合应用

* 22-（案例）使用窗口函数求某列占总金额的百分比（百分比要乘100）

* 23-（扩展）concat函数与round函数

* 24-（案例）把窗口函数与count结合使用

* 25-（案例）在一条SQL语句中出现多个窗口函数（注意别名出现关键字的解决方案）

* day02/

* 01-（踩坑）WHERE子句与窗口函数的执行顺序

* 02-（说明）火车时刻表数据集解析

* 03-（重点）窗口函数分组案例

* 04-（重点）partition by传入多列

* 05-（案例）partition by练习题

* 06-（重点）rank()排序函数

* 07-（对比）rank()函数dense_rank()函数与row_number()函数的区别

* 08-（踩坑）order by子句是在rank()窗口函数后执行

* 09-（案例）窗口函数与order by应用案例（如果两者结合，窗口函数排序后，在使用order by，顺序会被打乱）

* 10-（重点）ntile函数-rank函数与with语句相结合

* 11-（注意）编写SQL语句常见的三种错误

* 12-（案例）求安装包最小的游戏信息

* 13-（小结）排序函数

* 14-（难点）window frames窗口大小定义

* 15-（重点）从当前行到下方所有行的窗体

* 16-（易错点）windows frames窗体简写形式（只针对preceding）

* 课程回顾

* day03/

* 01-（重点）rows与range的区别（根据行号定窗口与根据字段值定窗口）

* 02-（简化）rows和range的区别

* 03-（重点）over窗口函数与order by的关系

* 04-（重点）分析函数中的lead与lag（超前与落后）

* 05-（扩展）lead函数的参数（1个参数-2个参数-3个参数）

* 06-（重点）分析函数中lead与lag（超前与落后）

* 07-（重点）first_value取窗体中的第一个值

* 08-（易错点）last_value与order by之间的关系

* 09-（重点）nth_value（获取某个字段第N个值，注意窗口范围）

* 10-（小结）分析函数小结

* 11-（回顾）partition by分组应用

* 12-（重点）partition by与order by结合rank()与ntile()函数应用

* 13-（重点延伸）使用partition by order by求topN问题

* 14-（作业）使用partition by order by与window frame和lead-lag想结合

* 15-（踩坑）不能在where子句中使用窗口（一定要使用，则必须使用子查询）

* 16-（踩坑）不能在having子句中使用窗口函数

* 17-（踩坑）不能在group by子句中使用窗口函数

* 18-（踩坑）可以在order by子句中使用窗口函数（ntile分组时不能使用别名）

* 19-（踩坑）窗口函数与group by一起使用（唯一场景聚合函数嵌套）

* 20-（踩坑）rank时使用聚合函数（一般要结合group by一起使用）

* 21-（工作）使用group by结合窗口函数计算环比（两个相邻数据的差值）

* 22-（工作）在group by的基础上使用partition by进行二次分组

* 23-窗口总结

* 课程回顾

* day04/

* 01-（回顾）交叉查询与内连接查询

* 02-（回顾）回顾外连接查询（重点掌握左外连接）

* 03-（前言）SQL报表的学习目标

* 04-（重要）SQL报表数据集介绍

* 05-（重点）多表查询练习题5则（重点掌握后面2个）

* 06-（入门）报表的入门三步走（关联-条件-字段）

* 07-（重点）使用报表三步走实现案例二则

* 08-（重点）关于报表的计算（求订单的总金额）

* 09-（重点）计算多个订单的总金额（与group by相结合）

* 10-（易错点）多表连接分组时一定要考虑是否有重名情况

* 11-（回顾）显示部分数据与count()函数回顾（重点对比count()与count(列名)区别）

* 12-（易错）计数统计与left join应用（上）

* 13-（易错）计数统计与left join应用（下）

* 14-（小结）使用SQL进行数据汇总

* 15-（重点）自定义分组的基本语法

* 16-（重点）引入case when以及else语句

* 17-（重点）在group by中使用case when自定义分组

* 18-（重点）在case...when语句中使用count聚合函数

* 课程回顾

* day05/

* 01-（重点）在group by中使用case when与case when结合sum进行简单计数与复杂运算

* 02-（小结）case...when语句与group by结合应用

* 03-（重点）with查询语句（重点掌握with编写二步走）

* 04-（了解）with查询语句的另外一种写法

* 05-（复杂）多层聚合

* 06-（案例）多层聚合案例演示

* 07-（重点）with语句+group by+case when实现自定义分组聚合

* 08-（难点）三层聚合（重点一定要分析出先求哪一个在求哪一个）

* 09-（小结）with多级聚合总结

* 10-（注意）with语句使用过程中的注意事项

* 11-（重点）在一条SQL中计算多个指标

* 12-（重点）自定义指标（case when语句）

* 13-（重点）求某个指标的百分比

* 14-（案例）分组+业务指标的百分比

* 15-（小结）计算多个指标

* 16-（重点）按行比较与按列比较核心思想

* 17-（重点）按多列进行比较（多余的列要出现在group by语句中）

* 18-（重点）按占比比较与分组对比小结

* 课程回顾

* 阶段五大数据基础+Java语言编程/

* 第一章大数据操作系统基础/

* 大数据操作系统基础(一)/

* 01-大数据概念

* 02-大数据的特点

* 03-大数据的应用场景

* 04-大数据的处理流程

* 05-大数据部门组织结构

* 06-计算机原理

* 07-计算机软件和硬件的介绍

* 08-操作系统的概述

* 09-Linux系统的概述

* 10-Linux系统的发行版

* 11-VMware的安装

* 12-Centos的安装

* 13-使用VMware打开Centos

* 14-虚拟化技术开启

* 15-虚拟机的网络配置

* 16-使用finalshell连接Linux

* 17-Linux的目录结构

* 18-学习Linux命令的原因

* 19-Linux命令-ls命令

* 20-Linux命令-pwd、mkdir、rm命令

* 21-Linux命令-cd命令

* 22-Linux命令-touch命令

* 23-Linux命令-mv命令

* 24-Linux命令-cp命令

* 大数据操作系统基础(二)/

* 01-虚拟机环境问题和快照保存

* 02-快照的删除和恢复

* 03-Linux命令-解压命令

* 04-Linux命令-压缩命令

* 05-Linux命令-find命令

* 06-Linux命令-grep和which命令

* 07-Linux命令-ps和kill命令

* 08-Linux命令-管道命令

* 09-Linux命令-用户管理命令

* 10-Linux权限控制介绍

* 11-Linux权限控制-chmod命令

* 12-Linux网络管理命令

* 13-Linux的其他命令-ln、clear、history

* 14-VI编辑器-介绍

* 15-VI编辑器-命令行模式

* 16-VI编辑器-底行模式

* 17-通过nodepad++连接Linux

* 18-Mysql数据库-概述

* 19-Mysql数据库-常见数据库介绍

* 20-Mysql数据库-数据库登录

* 21-Mysql数据库-使用DataGrip连接Mysql

* 22-Mysql数据库-使用DataGrip连接Mysql-问题说明

* 第二章大数据关系型数据库/

* 关系型数据库(一)/

* 01-SQL的概述

* 02-SQL语言的分类

* 03-SQL的语法和数据类型

* 04-SQL操作-DDL命令-数据库操作

* 05-SQL操作-DDL命令-表的基本操作

* 06-SQL操作-DDL命令-修改表结构

* 07-SQL操作-DML命令-insert指令

* 08-SQL操作-DML命令-update指令

* 09-SQL操作-DML命令-delete命令

* 10-SQL操作-练习

* 11-SQL约束-主键约束

* 12-SQL约束-非空约束

* 13-SQL约束-唯一约束

* 14-SQL约束-外键约束

* 关系型数据库(二)/

* 01-SQL操作-DQL命令-简单查询

* 02-SQL操作-DQL命令-条件判断语法

* 03-SQL操作-DQL命令-条件查询1

* 04-SQL操作-DQL命令-条件查询2

* 05-SQL操作-DQL命令-排序查询

* 06-SQL操作-DQL命令-聚合函数

* 07-SQL操作-DQL命令-分组查询

* 08-SQL操作-DQL命令-分组查询-having关键字

* 09-SQL操作-DQL命令-分页查询

* 10-SQL操作-DQL命令-insert into select语句

* 关系型数据库(三)/

* 01-表与表之间的关系

* 02-外键约束概念

* 03-外键约束的操作

* 04-外键约束的数据插入和删除

* 05-多表查询-交叉连接查询

* 06-多表查询-内连接查询

* 07-多表查询-外连接

* 08-多表查询-子查询1

* 09-多表查询-子查询2

* 10-多表查询-子查询3

* 11-索引的概念

* 12-索引的分类

* 13-索引的操作-普通索引

* 14-索引的操作-唯一索引和主键索引

* 15-索引的注意事项

* 16-开窗函数介绍

* 17-开窗函数的用法

* 18-开窗函数求TopN

* 第三章大数据可视化ETL平台/

* 可视化ETL平台/

* 01-数据仓库的概念

* 02-ETL的概念

* 03-Kettle的介绍

* 04-Kettle的安装

* 05-Kettle的入门案例

* 06-案例1-设置Excel输入组件

* 07-案例2-设置Mysql输出组件

* 08-设置数据库共享连接

* 09-案例3-设置myql输入和mysql输出组件

* 10-案例4-设置mysql输入和插入更新组件

* 11-案例5-设置mysql输入组件和删除组件

* 12-案例6-设置排序组件

* 13-案例7-设置switch_case组件

* 第四章大数据BI可视化开发/

* BI可视化开发/

* 01-案例8-设置sql脚本组件

* 02-案例9-设置kettle转换参数

* 03-案例10-设置kettle作业定时

* 04-Kettle的Linux部署-使用Pan来执行转任务

* 05-Kettle的Linux部署-使用Kitchen来执行转任务

* 06-Superset的介绍

* 07-Superset的安装和登录

* 08-Superset的入门案例

* 09-Superset案例1-统计每天的销售额

* 10-Superset案例2-统计每天每个渠道的销售额

* 11-Superset案例3-根据日期、区域、渠道、产品统计订单总额

* 12-Superset案例4-根据日期、区域统计订单总额（数据透视表）

* 13-Superset看板系统

* 第五章大数据电商数据仓库实战/

* 电商数据仓库实战/

* 01-综合案例-背景介绍

* 02-综合案例-电商操作流程和原理介绍

* 03-综合案例-电商系统术语介绍

* 04-综合案例-解决方案

* 05-综合案例-架构说明

* 06-综合案例-DataGrip环境搭建

* 07-综合案例-表字段介绍

* 08-综合案例-业务数据抽取方案

* 09-综合案例-业务数据抽取实施

* 10-综合案例-数据抽取-作业操作

* 11-综合案例-数据分析-统计每天的订单金额、订单总笔数

* 12-综合案例-数据分析-统计当天下过订单的不同用户总数

* 13-综合案例-统计不同支付方式订单总额和订单笔数分析

* 14-综合案例-统计用户订单笔数Top5

* 15-综合案例-统计不同分类的订单金额和总笔数-自关联

* 16-综合案例-统计不同分类的订单金额和总笔数-自关联分类表

* 17-综合案例-统计不同分类的订单金额和总笔数-sql编写

* 18-综合案例-统计不同分类的订单金额和总笔数-sql优化

* 19-综合案例-设置作业

* 20-综合案例-数据可视化-订单销售总额和总笔数开发

* 21-综合案例-数据可视化-订单支付方式分析开发

* 22-综合案例-数据可视化-订单笔数TOP5用户

* 23-综合案例-数据可视化-订单商品分类分析

* 24-综合案例-看板开发

* 第六章大数据Java语言编程-编程基础/

* 编程基础(一)/

* 01.今日内容介绍

* 02.计算机基本概述

* 03.语言介绍

* 04.为什么要学习Java语言

* 05.Java语言介绍

* 06.JDK的下载安装和卸载

* 07.path环境变量的配置

* 08.HelloWorld入门案例(掌握)

* 09.编写HelloWorld案例常见问题

* 10.开发工具解释

* 11.IDEA的安装和首次启动设置

* 12.IDEA中的模块和项目之间的关系图解

* 13.HelloWorld案例(IDEA版)_必须掌握

* 14.IDEA的基本设置和快捷键

* 15.如何导入和删除模块

* 16.注释(掌握)

* 17.关键字解释

* 18.常量解释

* 19.变量入门

* 20.定义基本类型的变量并打印

* 21.变量的注意事项

* 编程基础(二)/

* 01.昨日内容回顾

* 02.标识符

* 03.自动类型转换

* 04.强制类型转换

* 05.扩展_常量和变量相加

* 06.ASCII码表简介

* 07.算术运算符

* 08.自增和自减运算符

* 09.赋值运算符

* 10.关系运算符

* 11.逻辑运算符入门

* 12.短路逻辑运算符

* 13.三元运算符入门

* 14.三元案例_判断老虎体重是否相同

* 15.三元案例_获取三个和尚的最高身高

* 16.Scanner入门

* 17.键盘录入版和尚身高

* 18.Scanner练习_获取指定数字的各个位数

* 19.顺序结构

* 20.if语句之单分支

* 21.if语句之双分支

* 22.if双分支案例_判断奇偶数

* 23.if多分支案例_打印星期

* 24.if多分支案例_发放奖励

* 25.if多分支案例之获取三个整数的最大值

* 26.if使用的小技巧

* 27.switch语句入门

* 28.case穿透

* 29.switch的思考题

* 30.switch语句_发放奖励

* 编程基础(三)/

* 01.Day02作业第6题讲解

* 02.Day02作业第7题讲解

* 03.循环简介

* 04.for循环入门

* 05.for循环案例_打印数字

* 06.for循环案例_求和思想

* 07.for循环案例_求偶数和

* 08.for循环案例_求水仙花数

* 09.for循环案例_计数思想

* 10.while循环入门

* 11.while循环案例_求和思想

* 12.while循环案例_珠穆朗玛峰问题

* 13.do.while循环(了解)

* 14.三种循环之间的区别(理解)

* 15.break的作用

* 16.continue的入门案例

* 17.控制跳转语句_思考题

* 18.循环嵌套_年月案例

* 19.循环嵌套_打印矩形

* 20.循环嵌套_打印正三角形

* 21.循环嵌套_打印倒三角形

* 22.循环嵌套_打印99乘法表

* 23.Math获取随机数_入门

* 编程基础(四)/

* 01.数组简介

* 02.数组的基本用法

* 03.一个数组的内存图_了解

* 04.两个数组的内存图

* 05.两个数组指向同一个地址

* 06.数组的两个常见小问题

* 07.数组的常见操作_遍历数组

* 08.数组的常见操作_获取最大值

* 09.数组的常见操作_反转数组

* 10.方法简介

* 11.无参无返回值的方法

* 12.方法调用图解

* 13.有参无返回值的方法

* 14.无参有返回值的方法_案例一(求和)

* 15.无参有返回值的方法_案例二(求奇偶数)

* 16.有参有返回值的方法_案例一(求和)

* 17.有参有返回值的方法_案例二(判断奇偶数)

* 18.有参有返回值的方法_案例三(求最大值)

* 19.方法练习_遍历数组

* 20.方法练习_获取数组元素最大值

* 21.方法练习_模拟计算器

* 22.方法重载入门

* 23.方法重载的思考题

* 24.基本类型作为形参的情况

* 25.引用类型作为形参的情况

* 26.遍历数组

* 27.Debug断点调试

* 第七章大数据Java语言编程-面向对象/

* 面向对象(一)/

* 01.面向对象简介

* 02.类和对象入门

* 03.如何使用类中的内容

* 04.手机类的定义和使用

* 05.一个对象的内存图(了解)

* 06.两个对象的内存图(了解)

* 07.两个引用指向同一个对象的内存图(了解)

* 08.成员变量和局部变量的区别

* 09.private关键字讲解

* 10.加入private后的标准代码

* 11.封装的概述和好处

* 12.this关键字入门

* 13.加入this关键字后的标准版的JavaBean代码

* 14.构造方法入门

* 15.构造方法的注意事项

* 面向对象(二)/

* 00.昨日作业讲解

* 02.非继承版(人类案例)

* 03.继承版(人类案例)

* 04.Java中继承的特点

* 05.继承中成员变量的访问特点

* 06.super关键字详解

* 07.继承关系中的构造方法的特点

* 08.继承关系中的成员方法的访问特点

* 09.方法重写详解

* 10.人类案例(继承版_标准版本)

* 11.多态入门

* 12.多态中的成员访问特点

* 13.多态的好处和弊端

* 14.向上转型和向下转型

* 15.动物案例_多态版

* 16.扩展内容_多态在实际开发中的应用

* 17.扩展内容_instanceof关键字

* 第八章大数据Java语言编程-常用类API/

* 常用类API(一)/

* 01.Day06作业第二题讲解

* 02.final关键字的用法

* 03.扩展_final关键字的常见面试题

* 04.static关键字入门

* 05.静态方法的访问特点

* 06.抽象类入门

* 07.抽象类的特点

* 08.抽象类的成员特点

* 09.老师类案例_抽象类版

* 10.接口入门

* 11.接口中的成员特点

* 12.抽象类和接口的区别

* 13.运动员和教练类案例(思路分析)

* 14.运动员和教练类案例(代码实现)

* 15.包详解

* 16.权限修饰符

* 17.扩展_Object#toString()方法

* 18.面向对象总结

* 常用类API(二)/

* 01.Day07作业第一题讲解

* 02.Day07作业第3题讲解

* 03.Scanner接收字符串

* 04.使用Scanner的小技巧

* 05.Object类的toString()方法介绍

* 06.Object类的equals()方法

* 07.String类的构造方法

* 08.String类创建对象的特点

* 09.比较字符串是否相等

* 10.String扩展_字符串拼接问题

* 11.String案例_模拟用户登录

* 12.String案例_遍历字符串

* 13.String案例_统计各类型字符的次数

* 14.String案例_字符串拼接

* 15.String案例_字符串反转

* 16.通过API帮助文档查看String类中的方法.

* 17.StringBuilder入门案例

* 18.StringBuilder的添加和反转方法

* 19.StringBuilder和String的相互转换

* 20.StringBuilder案例_拼接数组元素

* 21.StringBuilder案例_反转字符串

* 常用类API(三)/

* 01.冒泡排序原理分析

* 02.冒泡排序代码实现

* 03.Arrays工具类介绍

* 04.包装类简介

* 05.int和String之间如何相互转换

* 06.扩展_其他基本类型和String之间的转换

* 07.案例_字符串数字排序

* 08.JDK1.5特性_自动拆装箱

* 09.Date入门

* 10.Date类的构造方法

* 11.SimpleDateFormat的格式化操作

* 12.SimpleDateFormat的解析操作

* 13.DateUtils工具类的定义

* 14.Calendar入门

* 15.Calendar类的成员变量和成员方法

* 16.获取某年的2月有多少天

* 17.内部类介绍

* 18.匿名内部类的入门案例

* 19.匿名内部类的使用场景和小技巧

* 第九章大数据Java语言编程-集合操作/

* 集合操作(一)/

* 01.Day09作业第六题讲解

* 02.Day09作业扩展第一题

* 03.Day09作业扩展第二题

* 04.集合的体系图

* 05.Collection集合入门

* 06.Collection集合中的常用方法

* 07.遍历集合

* 08.Collection集合存储自定义对象并遍历

* 09.List集合入门

* 10.List集合的特有成员方法

* 11.List集合的独有遍历方式

* 12.List集合存储自定义类型的对象并遍历

* 13.列表迭代器

* 14.并发修改异常详解

* 15.扩展_CopyOnWriteArrayList集合

* 16.增强for入门

* 17.增强for遍历List集合

* 18.增强for遍历List集合_存储自定义类型的对象

* 19.栈和队列介绍

* 20.数组和链表介绍

* 21.ArrayList集合存储字符串并遍历

* 22.ArrayList集合存储自定义对象并遍历

* 23.LinkedList集合入门

* 24.LinkedList集合的特有方法

* 集合操作(二)/

* 01.Day10作业第4题讲解

* 02.Set集合入门

* 03.哈希值详解

* 04.HashSet集合入门

* 05.HashSet集合保证元素唯一性的原理

* 06.数据结构之哈希表

* 07.HashSet存储自定义对象并保证唯一性

* 08.LinkedHashSet集合详解

* 09.可变参数

* 10.Map集合入门

* 11.Map集合的成员方法详解

* 12.Map集合的获取功能

* 13.Map集合的遍历方式1_根据键获取其对应的值

* 14.Map集合的遍历方式2_根据键值对获取其对应的键和值

* 15.Map案例_键是String值是Student

* 16.Map案例_键是Student值是String

* 17.Map案例_ArrayList嵌套HashMap集合

* 18.Map案例_HashMap嵌套ArrayList集合

* 19.Map案例_统计字符个数

* 20.Collections工具类的成员方法解释

* 21.模拟斗地主发牌_无序的牌

* 22.模拟斗地主发牌_有序的牌_思路分析

* 23.模拟斗地主发牌_有序的牌_代码实现

* 第十章大数据Java语言编程-IO操作/

* IO操作(一)/

* 01.案例_获取10个不重复的随机数

* 02.Lambda表达式初体验

* 03.Lambda表达式的标准格式

* 04.Lambda表达式练习1_无参无返回方法

* 05.Lambda表达式练习2_有参无返回方法

* 06.Lambda表达式练习3_有参有返回值方法

* 07.Lambda表达式的省略模式

* 08.Lambda表达式的注意事项

* 09.异常简介

* 10.try.catch方式处理异常

* 11.声明抛出异常

* 12.关于异常的思考题

* 13.File类的构造方法

* 15.File类的创建功能

* 16.File类的判断功能

* 17.File类的获取功能

* 18.File类的删除功能

* 19.IO流的简介

* 20.字节输出流讲解

* 21.字节输出流的两个小问题

* 22.try.catch方式解决IO流异常

* 23.try.with.resource语句

* 24.创建空文件

* 25.字节输入流一次读取一个字节

* 26.字节输入流一次读取一个字节数组

* 27,字节流拷贝文本文件

* 28.图片加密

* 30.字节流拷贝文件的四种方式

* 字节缓冲流（补充）/

* 25-缓冲流-一次读写一个字节代码实现

* 26-缓冲流-一次读写一个字节原理

* 27-缓冲流-一次读写一个字节数组

* IO操作(二)/

* 01.字符流的由来

* 02.编解码问题

* 03.普通的字符流一次读写一个字符

* 04.高效字符流入门

* 05.字符流拷贝文件的6种方式(了解)

* 06.高效字符流一次读写一行

* 07.序列化流

* 08.反序列化流

* 09.serialVersionUID和transient关键字

* 10.commons-io第三方jar包的使用

* 11.多线程入门

* 12.多线程并行和并发的区别

* 13.单线程程序演示

* 14.Java程序是否是多线程版

* 15.多线程的实现方式一_继承Thread类

* 16.多线程的原理

* 17.多线程的实现方式二_实现Runnable接口

* 18.匿名内部类实现多线程

* 19.模拟卖票案例_继承Thread类版

* 20.多线程模拟卖票出现非法值的原因

* 21.多线程模拟卖票_问题解决

* 22.多线程模拟卖票_实现Runnable接口版

* 第十一章大数据Java语言编程-Java基础增强/

* Java基础增强(一)/

* 02.死锁详解

* 03.多线程的生命周期

* 04.线程安全的类

* 05.线程的优先级

* 06.线程控制之加入线程

* 07.线程控制之守护线程

* 08.Lock锁简介

* 09.实现线程池_提交Runnable接口任务

* 10.实现线程池_提交Callable接口任务

* 11.生产者和消费者设计模式介绍

* 12.生产者和消费者设计模式_代码实现

* 13.设计模式相关内容介绍

* 14.网编介绍

* 15.IP地址介绍

* 16.InetAddress类讲解

* 17.端口号和协议

* 18.UDP协议_发送端代码

* 19.UDP协议_接收端代码实现

* 20.UDP协议案例_键盘录入数据然后发送

* 21.TCP协议之客户端代码实现

* 22.TCP协议之服务器端接收客户端发送的数据

* 23.TCP协议之客户端和服务器端之一句话的交情

* 24.TCP协议之客户端接收键盘录入_然后发送给服务器端打印

* 25.服务器端接收数据写入到文件

* Java基础增强(二)/

* 01.网编案例_客户端给服务器端上传文件

* 02.网编案例_客户端上传文件_接收服务器端回执信息

* 03.网编案例_多线程版服务器端

* 04.Junit单元测试入门

* 05.Junit单元测试相关注解

* 06.类加载的过程

* 07.类加载器详解

* 08.类加载器的检查和运行顺序

* 09.反射入门_获取字节码文件对象

* 10.反射_获取类的构造方法

* 11.反射_通过公共的构造方法创建对象

* 12.反射_通过私有的构造方法创建对象

* 13.反射_获取成员变量并使用

* 14.反射_获取私有成员变量并使用

* 15.反射_获取成员方法

* 16.反射_获取成员方法并使用

* 17.反射案例_越过泛型检查

* 18.Properties集合类讲解

* 19.反射案例_执行执行类的指定方法

* 20.注解入门

* 21.自定义注解

* 22.使用自定义注解

* 23.通过反射获取注解信息

* 24.xml入门

* 25.xml文件中可以写啥

* 26.dtd约束演示

* 27.schema约束演示

* 28.命名空间(了解)

* 第十二章大数据java基础综合_jdbc/

* 大数据java基础综合_jdbc/

* 01-今日内容

* 02-数据库的基本介绍

* 03-在window中安装MySQL

* 04-如何卸载mysql以及如何连接mysql操作

* 05-jdbc的基本介绍

* 06-jdbc的入门案例操作

* 07-JDBC的API详解(上)

* 08-JDBC的API详解(下)

* 09-使用原始JDBC实现增加数据操作

* 10-提取jdbc的工具类操作

* 11-jdbc的工具类的基本使用操作

* 12-SQL注入问题的引入

* 13-SQL注入问题的解决

* 14-使用预编译的方式来实现对数据库的CURD

* 15-C3P0连接池的基本使用操作

* 16-C3P0连接池的工具类的提前

* 17-事务的基本概念以及如何在mysql中操作事务

* 18-事务的四大特性

* 19-事务的隔离性问题说明和解决方案

* 20-jdbc中如何事务操作

* 21-总结

* 第十三章大数据java基础综合_maven/

* 大数据java基础综合_maven/

* 01-课前回顾和今日内容

* 02-maven的基本介绍

* 03-安装maven软件

* 04-配置maven的本地仓库方案

* 05-idea中集成maven的操作

* 06-idea中创建一个无骨架的javase的项目

* 07-idea中创建一个有骨架的javase项目

* 08-idea中创建一个有骨架的web工程

* 09-idea中创建一个无骨架的web工程

* 10-maven的常用命令

* 11-maven的插件说明

* 12-maven插件的总结

* 13-maven的如何导入依赖操作

* 14-maven中依赖范围的讲解

* 15-maven项目中聚合工程

* 16-总结

* 17_扩展_web的介绍和前端技术说明

* 18-html和css以及javascript的基本介绍

* 19-css选择器的介绍

* 第十四章大数据java基础综合_爬虫综合案例(一)/

* 大数据java基础综合_爬虫综合案例/

* 01-课前回顾和今日内容

* 02-爬虫的基本概念和爬虫的作用

* 03-爬虫的分类讲解

* 04-爬虫的执行流程

* 05-爬墙有爬取数的爬取策略的说明

* 06-http协议中请求部分说明

* 07-http协议中响应部分的讲解

* 08-如何使用jdk发送get请求操作

* 09-如何使用JDK发送post请求

* 10-使用httpClient发送get请求操作

* 11-使用httpClient发送post请求操作

* 12-使用jsoup如何获取document的四种方式

* 13-jsoup解析数据_获取传智播客中所有的课程信息

* 14-jsoup解析数据_获取163新闻的数据

* 15-综合案例_起点爬虫(上)

* 16-综合案例_起点爬虫(中)

* 17-综合案例_起点爬虫(下)

* 18-总结

* 第十五章大数据java基础综合_爬虫综合案例(二)/

* 大数据java基础综合_爬虫综合案例/

* 01-课前回顾和今日内容

* 02-需求说明和项目的准备工作

* 03-jd爬虫_发送请求获取数据(首页)

* 04-jd爬虫_图片数据的下载操作

* 05-jd爬虫_解析数据和封装数据操作

* 06-jd爬虫_保存数据操作

* 07-完成获取下一页的数据并完成最终的测试

* 08-分页的错误说明

* 09-优化工作_将各个阶段抽取成一个个单独方法

* 10-使用线程池来优化爬虫程序_线程池构建思路

* 11-线程池构建再次说明

* 12-如何选择用于存储100页的URL的容器

* 13-如何保证线程安全的两种措施

* 14-最终的优化程序实现以及综合测试

* 15-监控线程的实现

* 16-今日总结(上)

* 17-今日总结(下)

* 阶段六 linux高级/

* 第一章大数据linux基础/

* linux基础/

* 01-课前回顾和今日内容

* 02-计算机基本介绍

* 03-linux系统基本介绍以及虚拟化软件介绍

* 04-vmware的卸载

* 05-vmware的安装操作

* 06-centos7.7安装操作

* 07-安装CRT并且连接虚拟机操作

* 08-linux的目录结构说明

* 09-linux的相关命令的基本说明

* 10-linux命令_ll、pwd、mkdir、rm、cd

* 11-linux命令_文件操作命令

* 12-linux命令_压缩和解压缩的操作

* 13-linux命令_文件查找命令

* 14-linux命令_文件下载的命令

* 15-linux命令k_系统管理命令

* 16-linux命令_用户的创建和删除命令

* 17-linux命令_权限的设置操作

* 18-linux命令_网络和服务的命令

* 19-linux命令_其他命令操作

* 20-linux命令_vi编辑命令

* 21-vmware三种上网模式

* 22-虚拟机的静态ip设置

* 23-linux防火墙的操作内容

* 24-linux文件上传的两种方式

* 25-linux安装mysql

* 25-linux安装mysql(1)

* 26-linux安装jdk的操作

* 27-总结

* 第二章大数据linux高级(一)/

* linux高级/

* 01-课前回顾和今日内容

* 02-linux高级命令_重定向操作

* 03-linux高级命令_cut命令

* 04-linux高级命令_wc命令

* 05-linux高级命令_awk基本使用

* 06-linux高级命令_awk的分隔符号和内容匹配操作

* 07-linux高级命令_段内容判断操作

* 08-linux高级命令_awk中NR和NF操作

* 09-linux高级命令_awk分段求和操作(begin操作)

* 10-linux高级命令_awk综合练习

* 11-shell编程_基本介绍和入门案例

* 12-shell脚本的三种运行方式

* 13-shell的数据类型说明

* 14-shell的变量操作_用户变量

* 15-shell的环境变量的内容

* 16-shell的特殊变量的讲解

* 17-shell的字符串的操作_字符串特点和字符串的拼接操作

* 18-shell的字符串的讲解_获取长度截取字符串以及查找字符操作

* 19-shell的运算符的操作内容

* 20-总结

* 第三章大数据linux高级(二)/

* linux高级/

* 01-课前回顾和今日内容

* 02-if的基本介绍以及if格式案例操作

* 03-if与esle的相关的结构说明和操作案例

* 04-if与elif_else的相关的结构说明和操作案例

* 05-for循环的第一种格式的操作案例

* 06-for循环第二种格式的操作案例

* 07-while循环的基本操作案例

* 08-如何实现死循环操作

* 09-case判断语句的操作案例

* 10-跳出循环的操作(break和continue操作)

* 11-对while进行continue操作的问题解决

* 12-shell函数的基本定义操作以及如何返回数据内容

* 13-shell带有参数的函数操作

* 14-数组的基本介绍以及相关的操作

* 15-如何遍历数组的操作

* 16-改错(上午函数部分返回值的解决方案)

* 17-shell中select语句的操作选项

* 18-shell中如何在一个脚本中加载另一个脚本的操作

* 19-shell的综合案例_猜字小游戏

* 20-如何实现数据库的备份操作以及需求的讲解说明

* 21-如何实现数据库的备份脚本的编写

* 22-如何实现定时执行备份的操作案例

* 23-今日总结

* 阶段七 hadoop技术栈/

* 第一章大数据环境统一与zookeeper/

* 大数据环境统一与zookeeper??/

* 01-课前回顾和今日内容

* 02-基于第一台拷贝出后两台虚拟机操作

* 03-内存的配置和修改另两台mac地址操作

* 04-配置三台虚拟机ip地址和通过CRT连接三台虚拟机

* 05-设置主机名和域名的映射关系匹配

* 06-下课时发生问题的解决

* 07-三台虚拟机的防火墙和深层防火墙的关闭

* 08-ssh免密登录的执行原理流程说明

* 09-ssh免密配置操作项

* 10-时钟同步的操作(第一种方式实现)

* 11-vmware的中检测jdk以及vmware的快照机制说明

* 12-离线时钟同步策略

* 13-zookeeper的基本介绍

* 14-zookeeper的架构说明及其分布式和集群的概念说明

* 15-zookeeper的五大特性

* 16.zookeeper的集群的配置操作

* 17-zookeeper的可视化的说明以及如何进入命令行客户端

* 18-zookeeper的数据模型

* 19-zookeeper的节点类型

* 20-zookeeper中shell操作_如何创建节点

* 21-zookeeper中相关的shell命令的操作说明

* 21-zookeeper的watch机制说明

* 22-使用java操作zookeeper_创建节点

* 23-使用java操作zookeeper_修改数据和删除数据操作

* 24-使用java操作zookeeper_查询数据

* 25-zookeeper的选举策略

* 26-总结

* 第二章大数据hadoop介绍与集群安装/

* day09_hadoop介绍与集群安装/

* 01-课前回顾和今日内容

* 02-什么是大数据以及大数据的特点

* 03-数据的类型

* 04-大数据的应用场景和业务分析的流程

* 05分布式的技术说明

* 06-hadoop的发展历程

* 07-hadoop的四大特性

* 08-hadoop的特性和hadoop的发行版本

* 09-hadoop1.x的基础架构

* 10-hadoop的元数据的说明信息

* 11-hadoop的2.x的架构(单节点架构)

* 12-hadoop2.x的高可用的架构说明

* 13-hadoop3.x的新特性的简要说明

* 14-集群的基本介绍以及三种部署方式说明

* 15-hadoop集群安装之前需要进行编译操作(不需要做)

* 15-hadoop的编译后版本和官方编译版本区别说明

* 16-hadoop的目录结构的介绍操作

* 17-使用notepad++连接虚拟机的操作

* 18-hadoop的配置文件的修改操作

* 19-hadoop的目录的创建和环境变量的配置操作

* 20-hadoop的界面启动操作方案

* 21-如何在window中使用域名的方式来访问hadoop集群

* 22-hadoop的初体验的操作

* 23-总结

* 第三章大数据HDFS(一)/

* 大数据HDFS/

* 01-课前回顾和今日内容

* 02-HDFS基本的介绍

* 03-HDFS的设计目标及其应用场景

* 04-HDFS的架构说明

* 05-HDFS副本机架感知原理

* 06-HDFS的shell基本命令(上)

* 07-HDFS的shell基本命令(下)

* 08-hdfs的安全模式

* 09-hdfs的基准测试内容

* 10-namenode的基本原理

* 11-datanode的基本原理

* 12-HDFS的写入数据的流程

* 13-HDFS的读取数据的流程

* 14-HDFS的SNN的元数据辅助管理操作

* 15-HDFS的元数据的辅助管理基本内容

* 16-如何使用SNN来恢复元数据操作

* 17-总结

* 第四章大数据HDFS(二)/

* 大数据HDFS(二)/

* 01-课前回顾和今日内容

* 02-JAVA操作Hadoop的windows环境的配置

* 04-java操作HADOOP_如何获取FileSystem文件系统对象

* 05-java操作HDFS_获取某个路径下所有的文件

* 06-java操作HDFS_如何创建一个文件夹

* 07-java操作HDFS_如何创建一个文件

* 08-java操作HDFS_完成文件下载的操作

* 09-java操作HDFS_完成文件的下载操作

* 10-java操作HDFS_完成小文件合并成大文件的操作

* 11-java操作HDFS_权限的操作内容

* 12=服务器之间或者集群之间数据拷贝工作

* 13-HDFS中归档文件的说明

* 14-HDFS的快照的机制

* 15-HDFS的垃圾桶的机制

* 16-HDFS的高可用基本介绍

* 17-高可用的配置操作

* 18-高可用启动和测试操作

* 19-hadoop的联邦机制

* 20-总结

* 第五章大数据MapReduce(一)/

* mapreduce/

* 01-课前回顾和今日内容

* 02-MapReduce思想_分而治之

* 03-MapReduce的设计构思

* 04-MapReduce的编程规范说明_八大步骤

* 05-如何实现map和reduce操作

* 06-wordCount案例的实现流程说明

* 07-wordCount的map和reduce的程序编写

* 08-wordCount的驱动类编写

* 09-运行方式_第一种

* 10-运行方式_第二种分布式的运行操作

* 11-wordCount小总结

* 12-MapReduce的分区的概念

* 13-阐述需求, 了解如何实现自定义分区

* 14-如何自定义分区操作

* 15-分区案例_map和reduce实现操作

* 16-分区案例_驱动类的实现操作

* 17-分区案例_分区mr两种测试

* 18-序列化操作以及如何排序的概念说明

* 19-自定义一个pojo实现序列化和排序的操作

* 20-排序的案例操作_MR实现

* 21-排序案例MR_代码测试操作

* 22-总结

* 第六章大数据MapReduce(二)/

* mapreduce/

* 01-课前回顾和今日内容

* 02-昨日wordCount的案例流程回顾

* 03-combinner基本概念及其需求的流程分析工作

* 04-combinner操作_没有combinner实现案例操作

* 05-combinner操作_使用combinner完成案例操作

* 06-mapTask的并行机制

* 07-map阶段的整个执行流程

* 08-reduce阶段的整个执行流程

* 09-MapReduce的工作机制的总结

* 10-将课件中工作机制重新梳理一下

* 11-分组的基本介绍

* 12-MapReduce中分区和分组的区别, 以及分组的细化

* 13-自定义分组的需求流程分析

* 14-分组的案例进行自定义各个组件

* 15-分组的案例的驱动类的编写以及测试操作

* 16-mr的综合案例_案例一_需求一流程分析

* 17-mr的综合案例_案例一_需求一代码实现

* 18-mr的综合案例_案例一_需求二代码实现

* 19-总结

* 第七章大数据MapReduce与yarn/

* mapreduce和yarn/

* 01-课前回顾和今日内容

* 02-求共同好友的思路说明

* 03-求共同好友_求某一个用户在那些用户好友列表中MR实现

* 04-求共同好友_最终实现操作

* 05-案例二_倒排索引的介绍,引出需求

* 06-案例二_倒排索引的MR实现

* 07-mapTask的并行度机制

* 08-MapReduce的性能优化策略

* 09-yarn集群的基本介绍

* 10-yarn集群中课件中描述的信息

* 11-yarn运行机制说明

* 12-yarn的三种调度器

* 13-yarn常用参数说明

* 14-总结

* 阶段八 hive/

* 第一章大数据hive(一)/

* hive/

* 01-课前回顾和今日内容

* 02-数据仓库的基本概念及其数仓的主要特征

* 03-数据仓库和数据库的区别

* 04-数据仓库的分层架构和数据仓库的ETL工作

* 05-数据仓库的分层总结

* 06-hive的基本介绍及其特点

* 07-hive的架构和hive的元数据的存储方案

* 08-hive的安装的三种方式的说明

* 09-hive的安装中内嵌模式(了解)

* 10-hive的安装操作(最终安装版本)

* 11-hive的三种连接方式

* 12-hive的客户端的一键启动脚本

* 13-hive中关于数据库的相关的操作

* 14-如何创建表的语法说明

* 15-关于内部表的相关的操作

* 16-关于外部表的相关的操作

* 17内部表和外部表的区别说明

* 18-复杂类型_array类型

* 19-复杂类型_map和struct操作

* 20-内部表和外部表的互转操作

* 21-分区表的相关的操作(上)

* 22-分区表的相关的操作(下)

* 23-分区表的综合练习

* 24-桶表的基本介绍与操作

* 25-修改表结构操作

* 26-mysql密码处理操作

* 第二章大数据hive(二)/

* hive/

* 01-课前回顾和今日内容

* 02-如何进行数据的导入操作

* 03-如何正确启动hive的步骤

* 04-如何导出数据操作

* 05-hive的查询的语法说明

* 06-hive的查询操作(上)

* 07-hive的查询操作(下)

* 08-hive的查询的操作_数据准备工作

* 09-hive查询操作_需求一

* 10-hive的查询操作_需求2和需求3

* 11-hive的查询操作_需求4,5操作

* 12-hive的参数的三种传递操作

* 13-hive的函数_数值,字符串以及日期函数

* 14-hive的函数_条件函数

* 15-hive的函数_转换函数操作

* 16-hive的函数_行转列的操作

* 17-hive的表生成函数_explode以及侧视图说明

* 18-hive的函数_reflect函数

* 19-hive的分析函数_row_number和rank以及dense_rank

* 20-hive的分析函数_ntile函数

* 21-hive的分析函数_sum_avg_max...

* 22-hive的分析函数_lag和lead以及...

* 23-总结

* 第三章大数据hive(三)/

* hive/

* 01-课前回顾和今日内容

* 02-如何自定义hive的函数_UDF

* 03-如何自定义hive的函数_UDTF

* 04-hive的调优_hive的数据压缩方式

* 05-hive中_什么是行式存储什么是列式存储

* 06-数据仓库中各个层使用哪种格式来存储数据

* 07-hive的数据各个存储格式的效率测试

* 08-fetch的本地抓取策略

* 09-hive的本地模式操作

* 10-join的优化策略

* 11-SQL的优化方向

* 12-动态分区的调整介绍

* 13-动态分区的相关的实操

* 14-数据倾斜的问题的处理方案

* 15-hive的_并行执行,严格模式.jvm重用以及推测执行

* 16-总结

* 阶段九在线教育/

* 第一章大数据-知行教育大数据分析平台/

* day01_知行教育大数据分析平台/

* 01-今日内容

* 02-项目的基本介绍及其项目的背景说明

* 03-项目的业务需求说明(上)

* 04-项目的业务需求说明(下)

* 05_整个项目的架构的说明

* 06-为什么要使用CDH版本软件

* 07-clouderamanager基本的介绍及其相关的功能说明

* 08-cloudera manager的虚拟机整体配置操作

* 09-数据仓库的基本介绍

* 10-数据仓库系统架构

* 11-维度分析的基本介绍

* 12-维度建模的基本概念

* 13-维度建模中事实表的基本介绍

* 14-维度建模中维度表的基本介绍

* 15-数仓发展经历的三种模型介绍

* 16-渐变维基本介绍说明

* 17-今日总结

* day02_知行教育大数据分析平台/

* 01-课前回顾和今日内容

* 02-为什么要进行数据分层以及回顾数仓三层架构

* 03-数据仓库细度分层方案

* 04-数据仓库细度分析_总结

* 05-通过一个案例简单描述一下数据仓库设计过程

* 06-hue的基本介绍及其通过HUE操作HDFS

* 07-通过hue操作hive

* 08-oozie的基本介绍及其和azkaban的对比

* 09-oozie的三种工作流及其配置的原理说明

* 10-使用hue操作oozie

* 11-对sqoop基本介绍

* 12-sqoop如何实现将数据全量导入到HDFS中操作

* 13-sqoop如何将数据全量导入到hive中

* 14-通过where子句将符合条件数据导入到HDFS中

* 15-通过query的方式将数据导入到hdfs中

* 16-增量导入数据到hive表中

* 17-sqoop的数据导出操作(hive_MySQL)

* 18-sqoop的常用参数说明

* 20-今日内容总结

* day03_知行教育大数据分析平台/

* 01-课前回顾和今日内容

* 02-访问咨询主题看板需求(1~4)

* 03-访问咨询主题看板需求(5~8)

* 04-访问咨询主题看板的原始数据结构说明

* 05-建模分析(分析维度和指标以及DWD表有那些字段)

* 06-建模分析(说明为什么不建立DWM层表数据)

* 07-建模分析(DWS层关于访问量的表结构分析)

* 08-建模分析(DWS层_关于咨询量的表结构设计)

* 09-维度建模的分析总结说明

* 10-维度建模分析_课下问题的说明

* 11-数仓中表使用何种数据格式以及使用何种压缩方案

* 12-全量和增量的说明

* 13-hive的分区介绍

* 14-建模操作_ODS层建模过程

* 15-建模操作_DW层建模过程

* 16-hive的参数优化(hdfs,yarn的基本配置)

* 17-hive的参数的优化方式

* 18-今日总结

* day04_知行教育大数据分析平台/

* 01-课前回顾和今日内容

* 02-数据采集_MySQL到hive(web_chat_ems)

* 03-数据采集_MySQL到hive(web_chat_text_ems)

* 04-访问量全量操作_从ODS到DWD(SQL基本实现)-解析数据问题未解决

* 05-访问量全量操作_从ODS到DWD(SQL基本实现)-解析数据问题以解决

* 06-访问量全量操作_从ODS到DWD操作(SQL的执行及其异常问题解决)

* 07-统计分析操作_根据地区统计各个时间的访问量

* 08-统计分析操作_根据搜索来源统计各个时间的访问量

* 09-统计分析操作_根据来源渠道统计各个时间的访问量

* 10-统计分析操作_根据会话来源页面及其中访问量统计各个时间的访问量

* 11-全量分析_数据导出MySQL的操作

* 12-咨询量统计_全量统计_根据地区来统计各时间段咨询量数据

* 13-咨询量统计_全量统计_根据来源渠道统计各个时间段的咨询量数据

* 14-咨询量统计_全量流程_数据导出操作

* 15-今日总结

* day05_知行教育大数据分析平台/

* 01-课前回顾和今日内容

* 02-增量流程的基本说明

* 03-为了实现增量过程模拟出上一天的数据

* 04-实现增量操作_数据采集(上)_SQL和sqoop的定义

* 05-实现增量操作_shell脚本编写

* 06-实现增量操作_数据采集shell脚本执行及其oozie的配置操作

* 07-实现增量操作_数据转换处理操作

* 08-实现正能量操作_数据统计分析和导出操作

* 09-意向客户主题看板_需求说明

* 10-导入原始数据以及对表基本说明

* 11-建模分析_DWD层字段分析

* 12-建模分析_DWM层表字段分析操作

* 13-建模分析_DWS层表字段分析操作

* 14-建模分析_总结

* 15-分桶表的作用

* 16-分桶表的创建及其如何加载数据到桶表说明

* 17-分桶表的作用_数据采样操作

* 18-如何开启mapJoin进行优化操作

* 19-bucketJoin和SMBjoin开启的前提要求说明

* 20-总结

* day06_知行教育大数据分析平台/

* 01-课前回顾和今日内容

* 02-分层操作_完成ODS层表构建操作

* 03-分层操作_完成DIM层表构建

* 04-分层操作_完成DWM与DWS层表构建

* 05-全量流程_DIM层数据采集工作

* 06-全量流程_ODS数据采集流程

* 07-全量流程_ODS到DWD层的数据转换操作(抽样实现)

* 08-全量流程_ODS到DWD层的总结

* 09-全量流程_DWD和DIM转换到DWM操作流程(表关联)

* 10-全量流程_DWD和DIM转换到DWM操作流程(字段与优化及其最终操作)

* 11-统计分析_DWM到DWS的基于维度的统计分析操作

* 12-增量流程_scd2的拉链表合并的流程

* 13-增量流程_拉链表的合并详细讲解(另一方式)

* 14-增量流程_课程中拉链表的增量实现操作

* 15-意向主题看板

* 16-总结

* day07_执行教育大数据分析平台/

* 01-课前回顾和今日内容

* 02-需求说明及其表结构说明

* day08_执行教育大数据分析平台/

* 01-课前回顾和今日内容

* 02-hive的索引_原始索引

* 03-hive的索引_行组索引操作

* 04-hive的索引_bloom filter index索引操作

* 05-报名用户主题看板_需求说明

* 06-报名用户主题看板_需求维度指标总部

* 07-报名用户主题看板_建模分析(ODS和DWD层)

* 08-报名用户主题看板_建模分析(DWD层操作)

* 09-报名用户主题看板_建模分析(DWS层)

* 10-报名用户主题看板_建模实现(ODS和DIM)

* 11-报名用户主题看板_建模实现(DWD,DWM,DWS)

* 12-报名用户主题看板_数据采集操作

* 13-hive中相关的函数说明

* 14-hive中的调优_hive的并行优化

* 15-hive的中调优_小文件合并优化

* 16-hive的调优_矢量化查询和读取零拷贝

* 17-huve的数据清洗的操作_ ODS到DWD层

* 18-hive调优_关联优化器(shuffle优化)

* 19-hive调优_数据倾斜问题解决

* 20-hive调优_合并优化操作(skewjoin中进行合并优化)

* 21-hive的调优_分组的数据倾斜解决方案

* 22-报名用户主题看板_数据处理(DWD_DWM)

* 23-报名用户主题看板_统计实现(DWM_DWS)

* day09_知行教育大数据分析平台/

* 01-课前回顾和今日内容

* 02-学生出勤主题看板_需求说明及其分析是否出勤说明

* 03-学生出勤主题看板_如何判断请假和旷课

* 04-学生出勤主题看板_表结构说明以及导入原始数据到MySQL

* 05-学生出勤主题看板_建模分析

* 06-学生出勤主题看板_建模操作_DIM层

* 07-学生出勤主题看板_建模操作_ODS层

* 08-学生出勤主题看板_建模操作_DWM层

* 09-学生出勤主题看板_建模操作_DWS与APP

* 10-学生出勤主题看板_全量统计_数据采集

* 11-学生出勤主题看板_全量统计_学生出勤数据(上午)

* 12-学生出勤主题看板_全量统计_学生出勤数据统计

* 13-上午的内容的回顾

* 14-学生出勤主题看板_全量分析_班级出勤统计

* 15-学生出勤主题看板_全量分析_班级请假人数的计算

* 16-测试_班级出勤记录操作以及班级请假人数统计

* 17-执行班级的请假人数的SQL的实现以及操作

* 18-学生出勤主题看板_全量分析_班级的旷课人数统计

* day10_知行教育大数据分析平台/

* 01-课前回顾和今日内容

* 02-学生出勤主题看板_全量流程_生成DWS层的数据

* 03-学生出勤主题看板_全量流程_app层的实现操作

* 04-学生出勤主题看板_全量流程_数据导出以及增量说明

* 05-商业BI的基本结束

* 06-fineBi的安装过程

* 07-使用fineBI准备工作

* 08-使用fineBI实现报表_访问人数看板曲线

* 09-使用fineBI实现报表_对学科和校区展示处理

* 10-使用fineBI实现报表_有效线索量的报表展示

* 11-使用fineBI实现报表_学生出勤情况

* 12-使用fineBI实现报表_导出操作

* 13-git的基本结束

* 14-git的安装操作

* 15-git的基本使用操作

* 16-git的案例_提交一个java项目到本地版本库

* 17-git的远程仓库的基本结束

* 18-码云的ssh的免密配置

* 19-如何将本地的git版本库上传到码云共享仓库中

* 20-如何克隆版本库, 以及如何更新版本库

* 21-分支管理

* 22-如何在IDEA中使用git的操作