人工精选基于Hadoop构建数据分析系统
这门课解决什么工作场景 很多做后端开发、数据分析或运维的人在工作中会遇到一个瓶颈:公司业务跑了两三年,线上关系型数据库的单表数据量撑不住了,老板让你把历史业务数据搬到 Hadoop 集群上做离线分析,或者要把散落在各个业务库的流水汇总成一个能支撑企业报表的数据仓库。这时候如果只会写 SQL,面对 H
会员 · 按档位
游客按标价购买,不享受上表折扣。
支付成功后自动发放网盘链接,链接失效可找客服免费补
这门课解决什么工作场景
很多做后端开发、数据分析或运维的人在工作中会遇到一个瓶颈:公司业务跑了两三年,线上关系型数据库的单表数据量撑不住了,老板让你把历史业务数据搬到 Hadoop 集群上做离线分析,或者要把散落在各个业务库的流水汇总成一个能支撑企业报表的数据仓库。这时候如果只会写 SQL,面对 HDFS、YARN 这些名词往往无从下手。这门课的工作场景非常明确,就是带你从零搭建一套能跑通的大数据离线分析系统:先理解为什么要用 Hadoop,搞清楚数据仓库在 Hadoop 生态里扮演什么角色,最后落到具体的技术选型上。它不教你写机器学习模型,也不涉及实时流处理,而是把“怎么把几个 TB 的业务数据存起来、算出来、给 BI 工具用”这条链路讲清楚。对于需要从传统数据库向大数据体系转行的技术人员来说,这是绕不开的一环。
适合什么基础,建议先看哪几块
这门课对基础的要求是:写过 SQL,能看懂简单的 Java 或 Python 代码,知道 Linux 命令行怎么操作。如果你完全没碰过数据库,建议先补一个月 SQL 再来看。课程前半部分概念偏多,从大数据的特点讲到商务智能的组成,很多人会觉得枯燥想跳过,但这里有两个点值得认真看:一是数据仓库和 OLAP 的基本概念,这决定了你后面建表时怎么做分层,理解了维度建模才能明白为什么大数据系统里要用星型模型;二是大数据技术选型那一节,它会告诉你什么场景用 Hadoop、什么场景该考虑其他方案,这对实际做架构决策比直接敲命令更重要。建议先把前三章的概念部分过一遍,心里有个整体框架,再进入后面的实操环节。学习顺序上,不要一上来就死磕环境搭建,先理清数据从哪来、到哪去、怎么算的逻辑,再去碰具体工具。
学完能独立做什么,资料怎么配合练习
学完之后,你应该能独立完成这几件事:在自己的机器或云服务器上把 Hadoop 集群跑起来,把一份结构化数据上传到 HDFS,用 MapReduce 或 Hive 对这份数据做聚合计算,最后把结果接到一个 BI 工具里出报表。课程资料里有配套的课件和操作演示,但只看视频是学不会的,关键在于跟着做。建议准备一台内存不低于 8G 的电脑,装一个虚拟机,课程里讲到每个组件部署时,你自己手动装一遍,踩一遍环境配置的坑。遇到报错先自己查日志,这是 Hadoop 学习里绕不过去的环节。如果只是把视频看完不动手,最后大概率还是不会用。把概念和实操结合,才能真正把这套系统跑通。
课程目录
课程目录60 集
- 1-1 [第一章] 大数据的定义 (06:13).mp4
- 1-2 [第一章] 大数据的特点 (06:42).mp4
- 1-3 [第一章] 大数据技术的演变 (05:36).mp4
- 1-4 [第一章] 大数据与云计算的关系 (05:36).mp4
- 1-5 [第一章] 大数据在不同领域的应用 (04:42).mp4
- 2-1 [第二章] 数据仓库的概念 (08:51).mp4
- 2-2 [第二章] 商务智能的组成 (05:30).mp4
- 2-3 [第二章] OLAP基本概念 (07:15).mp4
- 2-4 [第二章] 商务智能的发展 (05:35).mp4
- 2-5 [第二章] BI到大数据 (06:02).mp4
- 2-6 [第二章] 商务智能的定义 (05:05).mp4
- 3-1 [第三章] 大数据主流生态圈 (03:32).mp4
- 3-2 [第三章] 大数据技术选型 (05:49).mp4
- 3-3 [第三章] Hadoop生态系统体系构成 (05:43).mp4
- 3-4 [第三章] YARN资源管理思想 (04:44).mp4
- 3-5 [第三章] HDFS产生的背景 (06:47).mp4
- 3-6 [第三章] HDFS存储原理 (06:13).mp4
- 3-7 [第三章] MapReduce概述 (07:17).mp4
- 4-1 [第四章] 实验1:基于Linux的Hadoop本地安装 (07:38).mp4
- 4-2 [第四章] 实验2:基于Linux的Hadoop伪分布式环境搭建 (16:30).mp4
- 4-3 [第四章] MapReduce排序 (05:51).mp4
- 4-4 [第四章] HDFS JAVA API (09:52).mp4
- 5-1 [第五章] 高可用集群概念 (05:16).mp4
- 5-2 [第五章] Hadoop本地安装与配置 (07:38).mp4
- 5-3 [第五章] Hadoop本地安装及其特点 (06:22).mp4
- 5-4 [第五章] Hadoop伪分布式安装与配置 (16:30).mp4
- 5-5 [第五章] 实验1:通过Hive创建外贸数据应用视图-ppt (07:05).mp4
- 5-6 [第五章] 实验3:实验zookeeper搭建高可用集群 (13:52).mp4
- 6-1 [第六章] Python爬虫 (05:26).mp4
- 6-2 [第六章] 爬虫常用工具 (05:21).mp4
- 6-3 [第六章] 系统日志数据采集 (06:16).mp4
- 6-4 [第六章] 原始数据的入库方式 (06:15).mp4
- 6-5 [第六章] 外贸数据采集的需求分析 (05:03).mp4
- 7-1 [第七章] 实验1:python的安装 (04:39).mp4
- 7-2 [第七章] 实验2:kettle的安装 (05:14).mp4
- 7-3 [第七章] 实验3:sqoop的安装 (08:32).mp4
- 7-4 [第七章] Sqoop数据导入导出 (05:17).mp4
- 7-5 [第七章] 实验1:使用python编写数据入库程序 (11:43).mp4
- 7-6 [第七章] 实验2:实验mysqldump进行数据入库 (08:17).mp4
- 7-7 [第七章] 实验3:使用kettle进行数据入库 (05:19).mp4
- 8-1 [第八章] 应用层介绍 (06:02).mp4
- 8-2 [第八章] 贴源层介绍 (05:48).mp4
- 8-3 [第八章] Hive简介 (06:12).mp4
- 8-4 [第八章] Hive体系结构 (05:01).mp4
- 8-5 [第八章] 实验1:Hive的安装与配置 (10:41).mp4
- 8-6 [第八章] ETL基本概念 (04:33).mp4
- 8-7 [第八章] ETL工具的选择 (06:26).mp4
- 8-8 [第八章] ETL的过程介绍 (05:00).mp4
- 8-9 [第八章] 外贸数据ETL的需求分析 (06:34).mp4
- 9-1 [第九章] 任务1-数据分析的定义及形式 (06:31).mp4
- 9-2 [第九章] 任务1-外贸数据分析的业务需求与建模 (06:51).mp4
- 9-3 [第九章] 任务2-不同数据分析技术应用 (06:12).mp4
- 9-4 [第九章] 任务3-对外贸数据进行报表分析 (04:59).mp4
- 9-5 [第九章] 任务3-对外贸数据进行报表分析 (04:59).mp4
- 9-6 [第九章] 任务4-对外贸数据进行多维分析 (05:10).mp4
- 10-1 [第十章] 数据挖掘的定义 (06:25).mp4
- 10-2 [第十章] 数据挖掘的主要方式 (05:37).mp4
- 10-3 [第十章] 外贸数据挖掘的业务需求 (05:14).mp4
- 10-4 [第十章] 实验1:使用mahout完成外贸数据的聚类分析 (05:24).mp4
- 10-5 [第十章] 实验2:使用mahout完成销售类型的回归分析 (06:32).mp4





