这门课到底能解决什么工作场景
在当前互联网架构中，海量日志、交易数据以及用户行为记录的实时处理与离线分析，是大数据开发工程师的核心战场。很多非科班出身或转行的职场人，面对 Hadoop、Spark、Flink 等成堆的英文缩写，往往不知道从何下手，容易陷入“懂理论不会落地”的困境。本课程直击这一痛点，不讲晦涩的数学原理，而是完全基于一线大厂（特别是网易）的实际业务场景。它会带你复现从数据接入、清洗存储到最终数据分析的全链路流程。例如，如何搭建一个高可用的 Hadoop 集群来处理 PB 级数据，或者如何使用 Flink 构建实时数仓来监控业务指标。学完这门课，你不再只是知道有哪些组件，而是具备了解决“数据怎么从仓库里拿出来做计算，再存回去”这一核心工程问题的能力，能够独立承担中小型规模的离线与实时数仓搭建与维护工作。
谁适合学，以及建议先看哪几块
这门课并不适合对计算机基础一无所知、连 Linux 命令都打不熟的小白直接上手。它默认读者具备基本的 Linux 操作系统操作能力，并最好已经了解 Python 或 Java 其中一种编程语言的基础语法。如果你是完全的编程新手，建议先自学一两门编程基础课程，否则在面对课程中的代码编写环节时会非常痛苦。对于有一定基础的开发人员或转行者，建议按照“基础原理 -> 组件实操 -> 综合实战”的顺序学习。开篇关于大数据生态体系概览和 Linux 环境配置的部分至关重要，这是地基，不牢靠后面学 Spark 或 Hive 都会云里雾里。中间关于 Hadoop 和 Hive 的章节是重中之重，这是大数据领域的基石，必须结合具体案例反复敲代码，直到能熟练编写 MapReduce 和 SQL 脚本。至于 Flink 等实时计算部分，可以作为进阶内容，在掌握了离线处理后再深入学习，避免一开始就因概念复杂而劝退。
学完能独立做什么，资料怎么配合练习
学完本课程，你应当具备独立搭建一套企业级离线数仓的能力。具体而言，你可以独立设计并部署基于 HDFS 的分布式存储环境，利用 Hive 进行大规模数据的 ETL 处理，编写复杂的 SQL 查询语句进行数据聚合与统计，甚至能够使用 Spark 进行大规模数据的离线计算优化。这意味着当你入职一家互联网公司，接手一个遗留的数仓项目时，你能够独立排查集群故障、优化查询性能、修复数据倾斜问题，而不是只能跟着教程一步步点鼠标。关于资料配合，请务必养成“边看边敲”的习惯。不要只盯着视频看，一定要在自己的本地虚拟机环境中，按照课程演示的步骤，亲手安装集群、部署组件、运行代码。资料包中通常会提供部分核心代码片段或配置文件模板，这些是辅助你快速搭建环境的参考，但切记不要直接复制粘贴运行，而要用自己的语言逻辑去理解并重构代码。只有经过亲手敲下的每一行指令，你才能真正掌握大数据开发的肌肉记忆，在面试或实际工作中应对突发状况。
课程目录
├── 1-零基础复习课/ │ ├── 1-Java基础复习课/ │ │ ├── [ 50M] 1.10-城堡游戏.mp4 │ │ ├── [ 18M] 1.11-消除代码复制.mp4 │ │ ├── [113M] 1.12-封装.mp4 │ │ ├── [ 53M] 1.13-可扩展性.mp4 │ │ ├── [102M] 1.14-框架加数据.mp4 │ │ ├── [106M] 1.1-媒体资料库的故事.mp4 │ │ ├── [113M] 1.2-继承.mp4 │ │ ├── [109M] 1.3-子类父类关系.mp4 │ │ ├── [ 70M] 1.4-子类父类关系II.mp4 │ │ ├── [ 90M] 1.5-多态变量.mp4 │ │ ├── [ 98M] 1.6-向上造型.mp4 │ │ ├── [ 66M] 1.7-多态.mp4 │ │ ├── [ 89M] 1.8-Object类.mp4 │ │ └── [ 40M] 1.9-DoME的新类型.mp4 │ ├── 2-MySQL基础复习课/ │ │ ├── 10-MySQL程序开发/ │ │ │ ├── [ 80M] 2.10.1-MySQL字符集(上).mp4 │ │ │ ├── [ 69M] 2.10.2-MySQL字符集(下).mp4 │ │ │ ├── [126M] 2.10.4-程序连接MySQL.mp4 │ │ │ └── [175M] 2.10.6-DAO框架的使用.mp4 │ │ ├── 1-初识MySQL/ │ │ │ ├── [ 98M] 2.1.1-认识MySQL.mp4 │ │ │ ├── [108M] 2.1.2-轻松安装MySQL.mp4 │ │ │ ├── [176M] 2.1.5-MySQL数据库连接.mp4 │ │ │ └── [ 88M] 2.1.7-SQL语言入门.mp4 │ │ ├── 2-MySQL数据类型/ │ │ │ ├── [ 63M] 2.2.1-MySQL数据类型(上).mp4 │ │ │ └── [ 64M] 2.2.2-MySQL数据类型(下).mp4 │ │ ├── 3-MySQL数据对象/ │ │ │ └── [111M] 2.3.1-MySQL数据对象.mp4 │ │ ├── 4-MySQL权限管理/ │ │ │ └── [107M] 2.4.1-MySQL权限管理.mp4 │ │ ├── 5-实践课：数据库对象/ │ │ │ ├── [ 71M] 2.5.1-数据库对象（上）.mp4 │ │ │ └── [ 63M] 2.5.2-数据库对象（下）.mp4 │ │ ├── 6-SQL语言进阶/ │ │ │ ├── [144M] 2.6.1-SQL语言进阶（上）.mp4 │ │ │ └── [ 86M] 2.6.2-SQL语言进阶（下）.mp4 │ │ ├── 7-内置函数/ │ │ │ └── [149M] 2.7.1-内置函数【更多it资源 www.】.mp4 │ │ ├── 8-触发器与存储过程/ │ │ │ └── [ 85M] 2.8.1-触发器与存储过程.mp4 │ │ └── 9-实践课：SQL进阶应用/ │ │ ├── [126M] 2.9.1-SQL进阶（上）.mp4 │ │ └── [165M] 2.9.2-SQL进阶（下）.mp4 │ ├── 3-Linux快速入门（赵强老师）/ │ │ ├── [ 27M] 3.2-01-01-Linux简介.mp4 │ │ ├── [ 51M] 3.3-01-02-安装Linux.mp4 │ │ ├── [ 29M] 3.4-01-03-vi编辑器的使用.mp4 │ │ ├── [ 91M] 3.5-01-04-文件目录的操作.mp4 │ │ ├── [ 48M] 3.6-01-05-Linux的权限管理.mp4 │ │ └── [ 21M] 3.7-01-06-在Linux上安装JDK.mp4 │ ├── 4-Linux复习课/ │ │ ├── 1-第一节Linux入门/ │ │ │ └── [ 38M] 4.1.1-Linux入门.mp4 │ │ ├── 2-第二节Linux的安装/ │ │ │ └── [ 69M] 4.2.1-Linux的安装.mp4 │ │ ├── 3-第三节Linux文件与目录结构/ │ │ │ └── [ 40M] 4.3.1-Linux文件与目录结构.mp4 │ │ ├── 4-第四节Linux的VI文件编写命令/ │ │ │ └── [ 48M] 4.4.1-Linux的vi文件编写命令.mp4 │ │ ├── 5-第五节Linux网络配置和系统管理操作/ │ │ │ ├── [8.0M] 4.5.1-查看网络IP和网关.mp4 │ │ │ ├── [ 54M] 4.5.2-网络IP的修改IP和IP映射.mp4 │ │ │ ├── [ 18M] 4.5.3-找回 │ │ │ └── [ 27M] 4.5.4-克隆配置.mp4 │ │ ├── 6-第六节Linux常用基本命令/ │ │ │ ├── [ 36M] 4.6.1-帮助命令.mp4 │ │ │ ├── [ 75M] 4.6.2-ls和touch及mv命令.mp4 │ │ │ ├── [ 68M] 4.6.3-Linux命令文件删除修改拷贝权限管理.mp4 │ │ │ ├── [ 42M] 4.6.4-日期类型.mp4 │ │ │ ├── [ 14M] 4.6.5-用户组命令.mp4 │ │ │ ├── [ 51M] 4.6.6-Linux查找文件命令.mp4 │ │ │ ├── [ 36M] 4.6.7-Linux文件压缩和解压操作命令.mp4 │ │ │ ├── [ 43M] 4.6.8-线程和分区方法.mp4 │ │ │ └── [ 11M] 4.6.9-任务管理.mp4 │ │ ├── 7-第七节Linux软件包管理/ │ │ │ └── [ 48M] 4.7.1-Liunx软件包管理.mp4 │ │ └── 8-第八节Shell编程/ │ │ ├── [ 19M] 4.8.1-Shell概述.mp4 │ │ ├── [ 24M] 4.8.2-Shell的变量.mp4 │ │ ├── [ 17M] 4.8.3-Shell的传递参数.mp4 │ │ ├── [ 16M] 4.8.4-Shell的基本运算符.mp4 │ │ ├── [ 43M] 4.8.5-Shell的流程控制.mp4 │ │ ├── [ 20M] 4.8.6-Shell的常用函数.mp4 │ │ └── [7.2M] 4.8.7-Shell的常用工具函数.mp4 │ └── 5-Python基础复习课/ │ ├── 1-开课前准备/ │ │ └── [235M] 5.1.1-Python下载与配置.mp4 │ ├── 2-变量和数据类型/ │ │ ├── [ 71M] 5.2.1-变量.mp4 │ │ └── [ 54M] 5.2.2-初识数据类型.mp4 │ ├── 3-数据类型/ │ │ ├── [ 56M] 5.3.1-数字型.mp4 │ │ ├── [185M] 5.3.2-字符串.mp4 │ │ ├── [147M] 5.3.3-列表.mp4 │ │ ├── [ 30M] 5.3.4-元组.mp4 │ │ ├── [ 80M] 5.3.5-字典.mp4 │ │ └── [ 26M] 5.3.6-集合.mp4 │ ├── 4-程序控制/ │ │ ├── [129M] 5.4.1-布尔表达式.mp4 │ │ ├── [169M] 5.4.2-if条件判断.mp4 │ │ ├── [ 86M] 5.4.3-while循环.mp4 │ │ └── [102M] 5.4.4-for循环.mp4 │ ├── 5-函数/ │ │ ├── [ 85M] 5.5.1-计算机的函数概念.mp4 │ │ └── [140M] 5.5.2-函数的定义和调用.mp4 │ └── 6-类/ │ ├── [172M] 5.6.1-类的概念.mp4 │ ├── [360M] 5.6.2-类的使用.mp4 │ └── [ 56M] 5.6.3-self的使用.mp4 ├── 2-Hadoop/ │ ├── 10-ZooKeeper与HA/ │ │ ├── [ 36M] 1.10.1-主从架构的单点故障问题.mp4 │ │ ├── [ 37M] 1.10.2-ZooKeeper简介和体系架构.mp4 │ │ ├── [ 58M] 1.10.3-搭建ZooKeeper的Standalone模式.mp4 │ │ ├── [129M] 1.10.4-利用ZooKeeper实现分布式锁的秒杀.mp4 │ │ ├── [ 95M] 1.10.5-搭建ZooKeeper集群和Demo演示.mp4 │ │ ├── [ 65M] 1.10.6-Hadoop的HA架构.mp4 │ │ ├── [240M] 1.10.7-配置实现Hadoop的HA.mp4 │ │ ├── [ 58M] 1.10.8-什么是HDFS的联盟.mp4 │ │ └── [169M] 1.10.9-搭建HDFS的联盟.mp4 │ ├── 11-HUE/ │ │ ├── [ 19M] 1.11.1-HUE简介和Demo.mp4 │ │ ├── [ 36M] 1.11.2-安装所需的rpm包.mp4 │ │ ├── [156M] 1.11.3-配置HUE.mp4 │ │ └── [ 17M] 1.11.4-第二阶段小节.mp4 │ ├── 12-Flume/ │ │ ├── 2-Flume基本概念/ │ │ │ ├── [ 68M] 12.1.1什么是Flume，为什么需要FLume.mp4 │ │ │ ├── [ 23M] 12.1.2FlumeAgent的内部原理.mp4 │ │ │ ├── [ 39M] 12.1.3Flume之间的相互通信.mp4 │ │ │ └── [328M] 12.1.4Flume的环境安装.mp4 │ │ ├── 3-Flume的源Source/ │ │ │ ├── [ 70M] 12.2.1源Source介绍.mp4 │ │ │ ├── [327M] 12.2.2Netcat源Source.mp4 │ │ │ ├── [134M] 12.2.3exec源Source.mp4 │ │ │ └── [219M] 12.2.4avro源Source.mp4 │ │ ├── 4-Flume的Channel/ │ │ │ ├── [ 76M] 12.3.1事物工作流.mp4 │ │ │ └── [256M] 12.3.2内存Channel.mp4 │ │ ├── 5-Flume的Sink/ │ │ │ ├── [ 68M] 12.4.1Sink的生命周期.mp4 │ │ │ ├── [ 84M] 12.4.2HDFSSink.mp4 │ │ │ └── [292M] 12.4.3HDFSSink实战.mp4 │ │ ├── 6-Flume的拦截器Channel和Sink组/ │ │ │ ├── [263M] 12.5.1拦截器.mp4 │ │ │ ├── [195M] 12.5.2Channel选择器.mp4 │ │ │ └── [146M] 12.5.3Sink组.mp4 │ │ └── 7-Flume实战案例/ │ │ ├── [ 62M] 12.6.0实战案例介绍.mp4 │ │ ├── [ 91M] 12.6.1实战案例1.mp4 │ │ ├── [177M] 12.6.2实战案例2.mp4 │ │ ├── [ 76M] 12.6.3实战案例3.mp4 │ │ ├── [104M] 12.6.4实战案例4.mp4 │ │ └── [212M] 12.6.5实战案例5.mp4 │ ├── 13-直播课/ │ │ └── [233M] Hadoop第二阶段直播.mp4 │ ├── 1-Hadoop背景知识与起源/ │ │ ├── [174M] 1.1.1-Hadoop课程概述.mp4 │ │ ├── [159M] 1.1.2-实验环境简介.mp4 │ │ ├── [127M] 1.1.3-大数据中几个基本概念.mp4 │ │ ├── [ 15M] 1.1.4-Google的基本思想.mp4 │ │ ├── [182M] 1.1.5-Google的论文一GFS.mp4 │ │ ├── [174M] 1.1.6-Google的论文二MapReduce.mp4 │ │ └── [ 86M] 1.1.7-Google的论文三BigTable.mp4 │ ├── 2-搭建Hadoop环境/ │ │ ├── [ 80M] 1.2.1-Hadoop的目录结构.mp4 │ │ ├── [ 53M] 1.2.2-搭建Hadoop的本地模式.mp4 │ │ ├── [159M] 1.2.3-搭建Hadoop的伪分布模式.mp4 │ │ ├── [ 78M] 1.2.4-免 │ │ └── [198M] 1.2.5-搭建Hadoop的全分布模式.mp4 │ ├── 3-Hadoop的体系架构/ │ │ ├── [ 33M] 1.3.1-Hadoop的体系架构概述.mp4 │ │ ├── [105M] 1.3.2-NameNode的职责.mp4 │ │ ├── [ 51M] 1.3.3-DataNode的职责.mp4 │ │ ├── [ 64M] 1.3.4-SecondaryNameNode的职责.mp4 │ │ ├── [ 93M] 1.3.5-Yarn的体系架构和任务调度过程.mp4 │ │ ├── [ 35M] 1.3.6-Yan的资源分配方式.mp4 │ │ ├── [ 42M] 1.3.7-HBase的体系架构简介.mp4 │ │ └── [ 39M] 1.3.8-主从架构的单点故障问题及其解决方案.mp4 │ ├── 4-HDFS/ │ │ ├── [ 37M] 1.4.1.HDFS课程概述.mp4 │ │ ├── [ 62M] 1.4.10-HDFS的配额.mp4 │ │ ├── [ 42M] 1.4.11-HDFS的快照.mp4 │ │ ├── [ 31M] 1.4.12-HDFS的安全模式和权限.mp4 │ │ ├── [ 47M] 1.4.13-HDFS集群简介.mp4 │ │ ├── [117M] 1.4.14-HDFS的底层原理之代理对象.mp4 │ │ ├── [105M] 1.4.15-使用代理对象实现数据库的连接池.mp4 │ │ ├── [110M] 1.4.16-什么是RPC.mp4 │ │ ├── [ 66M] 1.4.2-通过WebConsole访问HDFS.mp4 │ │ ├── [118M] 1.4.3-通过命令行操作HDFS.mp4 │ │ ├── [150M] 1.4.4-使用JavaAPI创建HDFS目录和HDFS的权限.mp4 │ │ ├── [ 88M] 1.4.5-使用JavaAPI上传和下载数据.mp4 │ │ ├── [ 78M] 1.4.6-使用JavaAPI获取HDFS的元信息.mp4 │ │ ├── [ 91M] 1.4.7-HDFS数据上传的过程和原理.mp4 │ │ ├── [ 75M] 1.4.8-HDFS数据下载的过程和原理.mp4 │ │ └── [ 35M] 1.4.9-HDFS的回收站.mp4 … 其余 4 68 项略，目录共 668 项
