这门课解决什么问题

很多团队的大数据集群不是搭不起来，而是跑起来之后三天两头出问题：节点掉线、磁盘写满、配置没同步。这门大数据运维课解决的就是“怎么把集群稳住”以及“怎么把重复劳动自动化”的问题。它不是讲怎么写 SQL 做数据分析，而是讲怎么把底层的存储和计算平台搭好、管好、修好。如果你平时的工作偏业务开发，对底层环境一知半解，遇到环境报错只能重启试运气，那这门课能帮你补上这块短板。

适合什么基础，怎么用资料

课程标称零基础可学，但如果你完全没碰过命令行，前期会吃力。更合适的起点是：会用基础 Linux 命令，能看懂简单的脚本。资料包里的内容分两块，一块是平台搭建，一块是自动化工具。建议先看 Hadoop 生态介绍和伪分布式构建这两块，跟着视频在自己机器上把单机环境跑通，理解 HDFS 存文件、MapReduce 算数据的原理。看的时候不要只看不动手，视频里敲的命令自己也要敲一遍，错了再回头找原因。等单机环境没问题了，再看 ansible 那部分，从命令行模块到 playbook 脚本，一步步把之前手动敲的部署流程变成脚本自动跑。资料不是看完就懂的，得边看边在终端里验证。

学完能独立做什么

跟完这套资料并做完练习后，你应该能独立完成几件事：第一，从零搭建一个 Hadoop 伪分布式环境，并知道每个配置项改了会影响什么；第二，用 ansible 写出可复用的 playbook，把安装软件、分发配置、启动服务这些步骤自动化，不用再挨个节点去敲命令；第三，遇到常见的节点失联或服务起不来的问题，知道从哪里查日志、怎么定位。这几点凑起来，基本就够你接手一个小规模数据平台的日常维护了。当然，高可用和架构设计那部分内容偏理论，真要在公司里落地，还得结合实际硬件和业务量去调，但有了这个底子，至少不会两眼一抹黑。


通过本课程的学习，可以使零基础学员系统、多面、学习大数据运维技能。达到即学即用的效果。

课程目录

*   01 hadoop大数据平台基础以及高可用企业大数据平台构建过程/

  *   01 hadoop大数据生态栈知识体系介绍（1）

  *   02 hadoop大数据生态栈知识体系介绍（2）

  *   03 hadoop伪分布式的构建过程（1）

  *   04 hadoop伪分布式的构建过程实战演示

  *   05 分布式存储HDFS与分布式计算MR功能演示

  *   06 自动化运维工具ansible的架构与基础配置介绍

  *   07 ansible命令行模式常见模块使用介绍

  *   08 ansible-playbook脚本编写基础介绍

  *   09 用ansible的shell、file模块编写脚本

  *   10 用ansible的copy、synchronize编写脚本

  *   11 unarchive、service等模块编写playbook

  *   12 用playbook自动配置ssh公私钥认证以及HDFS HA

  *   13 使用playbook自动化配置hadoop集群节点环境

  *   14 使用playbook自动化部署JDK与zookeeper集群

  *   15 完全分布式hadoop集群配置文件详解（1）

  *   16 完全分布式hadoop集群部署以及服务启动过程

  *   17 测试HDFS分布式存储与yarn分布式计算功能是否正常

*   02 使用ambari构建统一的大数据运维平台/

  *   01 ambari的架构与运行原理介绍

  *   02 构建本地yum仓库，部署HDP的rpm包

  *   03 通过ansible实现安装ambari前主机环境配置与优化

  *   04 ambari-server安装过程实战讲解

  *   05 使用ambari自动化安装hadoop集群过程详解（1）

  *   06 使用ambari自动化安装hadoop集群过程详解（2）

  *   07 ambari管理hadoop集群方法以及管理和维护技巧

  *   08 通过ambari新增节点扩容hadoop集群以及监控告警配置

  *   09 HDFS基础架构以及内部实现逻辑解析

  *   10 NameNode内部工作机制剖析

  *   11 SNameNode工作机制以及NameNode元数据存储策略

  *   12 StandbyNameNode下元数据管理机制深入分析

  *   13 HDFS读取、写入数据流程深入分析

  *   14 HDFS中文件的查看、删除、移动、追加、授权等shell操作

  *   15 YARN的架构以及内部组成深度解析

  *   16 YARN提交任务过程深入分析

  *   17 YARN中常用shell命令的使用

*   03 hive、hbase、spark与hadop的整合应用/

  *   01 hive架构解读以及使用场景

  *   02 hive的三种运行模式

  *   03 hive的安装配置以及与hadop的整合过程

  *   04 hive sql的使用以及如何通过hive执行查询分析

  *   05 hive beeline的使用

  *   06 hbase与hadoop整合版本的选择以及安装hbase

  *   07 hbase集群的配置过程以及hmaster高可用配置方法

  *   08 hbase的服务管理以及Hmaster主备功能切换

  *   09 hbase shell的使用以及集群部署注意事项

  *   10 spark独立模式集群架构解析

  *   11 spark独立集群模式部署过程实战

  *   12 启动spark集群过程以及spark-shell的使用

  *   13 spark-submit的两种运行模式以及区别

  *   14 将spark集成到yarn配置方法以及spark日志配置

  *   15 yarn client和cluster两种模式提交spark

  *   16 企业流行的大数据平台架构深度解析

*   04 Yarn资源调度策略以及HDFS的ACL权限控制策略/

  *   01 容量调度和公平调度策略的特性和异同

  *   02 公平调度策略配置方法和过程以及配置文件的编写

  *   03 任务提交到不同队列的方法与资源调度策略

  *   04 HDFS 中的 POSIX 权限模型实现机制

  *   05 HDFS的访问控制列表（ACL）使用介绍

  *   06 hadoop日常运维故障汇总

  *   07 hadoop平台下对Linux系统的常见优化措施

  *   08 大数据平台网络架构设计原则与硬件选型经验