值不值得学:先看它解决什么工作场景
这门资料的核心是 Apache Kylin,一个面向海量数据的 OLAP 分析引擎。它真正能解决的问题很具体:当你的业务表数据量到了亿级甚至千亿级,用传统关系型数据库跑多维聚合查询会卡死或超时,用纯 Spark 做临时计算又太慢,Kylin 的做法是预先把维度组合算好,查询时直接命中预计算结果,把秒级响应拉回来。资料里拿电信数据做案例,正是因为这类场景天然有海量明细数据、固定维度、高频查询的特征。如果你日常工作是做数据平台、数仓或大数据分析,经常被查询性能和资源消耗卡住,这门课讲的思路就有直接参考价值;如果你只是想做日常报表、数据量在百万级以内,用普通查询引擎或 BI 工具就够了,上 Kylin 反而增加维护成本。
适合什么基础,建议先看哪几块
这份资料不适合零基础。它默认你已经熟悉关系型数据库和基本 SQL,能理解维度建模里事实表、维度表、星型模型这些概念,最好接触过 Hadoop 生态。资料开头确实补了 OLAP 与 OLTP 的区别、Cube 和 Cubeid 的原理,但这部分是快速过概念,不会从零教数据库基础。建议的看课顺序是:先把第一章的概述和适用场景看完,搞清楚 Kylin 适合什么、不适合什么;然后直接跳到第二章的工作原理和体系架构,理解它怎么用预计算把查询变快。这两块是判断后续内容能不能落地的前提。增量构建和实时构建那部分,建议等看完原理再上手,否则只照着操作步骤走,遇到参数调优会抓瞎。
学完能独立做什么,资料怎么配合练习
把核心内容走完之后,你应该能独立完成一件事:给一个已有的大数据查询场景,判断 Kylin 是不是合适的方案,如果是,能自己设计 Cube、配置增量构建、做基础性能优化,最后让多维查询在可接受时间内返回。资料里的电信多维分析项目就是用来验证这一点的。配合练习的建议是:不要只看视频跟着点界面,先拿项目里的数据结构和业务需求自己想一遍 Cube 该怎么设计、哪些维度该留哪些该剪,再对照课程的做法找差距。性能优化那几节尤其要动手,因为 Cube 构建时间和查询速度高度依赖具体数据分布,光看参数表没用,得自己跑几次才能体会。整个资料的价值在于把原理、架构和实际工程问题串起来,把它当参考手册用,比一口气刷完更划算。
本课程讲解Kylin原理、架构、Kylin全链路性能优化、Cube增量构建、Kylin 3.0实时构建新特性等,最后又通过一个电信数据多维分析项目讲解了Kyli
课程目录
* 第一章 Kylin概述/
* Kylin概述/
* 1-0-1Kylin概述-章导学
* 1-1-1Kylin是什么
* 1-2-1Kylin前置知识之OLAP和OLTP及事实表维度表
* 1-2-2Kylin前置知识之模型和维度
* 1-2-3Kylin前置知识之Cube和Cubeid
* 1-3-1Kylin适用场景
* 1-4-1Kylin概述-章总结
* 第二章 Kylin技术架构与运行原理/
* Kylin技术架构与运行原理-课程所有资料在本节下载/
* 2-0-1Kylin运行原理与架构-章导学
* 2-1-1Kylin工作原理
* 2-2-1Kylin体系架构
* 2-3-1Kylin运行原理与架构-章总结
* 第三章 Kylin快速安装和使用/
* Kylin快速安装和使用/
* 3-0-1Kylin快速安装和使用-章导学
* 3-1-1Kylin部署模式
* 3-2-1构建kylin环境之版本选择
* 3-2-2构建kylin环境之构建基础环境(上)
* 3-2-3构建kylin环境之构建基础环境(中)
* 3-2-4构建kylin环境之构建基础环境(下)
* 3-2-5构建Kylin环境(上)
* 3-2-6构建Kylin环境(中)
* 3-2-7Kylin环境安装(下)
* 3-3-1Kylin Hello World之导入Sample数据
* 3-3-2Kylin Hello World之构建和查询Cube
* 3-4-1初识Cube开发过程(一)
* 3-4-2初识Cube开发过程(二)
* 3-4-3初识Cube开发过程(三)
* 3-4-4初识Cube开发过程(四)
* 3-5-1Kylin快速安装和使用-章总结
* 第四章 Cube增量构建/
* Cube增量构建/
* 4-0-1Cube增量构建-章导学
* 4-1-1增量构建的意义
* 4-2-1创建增量Cube
* 4-3-1增量构建调度
* 4-4-1Cube碎片管理
* 4-5-1Cube增量构建-章总结
* 第五章 Cube实时构建/
* Cube实时构建/
* 5-0-1Cube实时构建-章导学
* 5-1-1从流式构建到实时构架
* 5-2-1流式构建
* 5-3-1实时构建的目的与架构
* 5-3-2实时构建过程详解
* 5-3-3查询过程详解
* 5-3-4实时构建详细设计之存储设计
* 5-3-5实时构建详细设计之高可用设计和故障分析
* 5-4-1Cube实时构建-章总结
* 第六章 Kylin性能优化/
* Kylin性能优化/
* 6-0-1Kylin性能优化-章导学
* 6-1-1优化思路及数据源端优化
* 6-1-2Cube剪枝优化(上)
* 6-1-3Cube剪枝优化(下)
* 6-1-4并发粒度优化
* 6-1-5RowKey优化
* 6-1-6Cube存储及IO优化
* 6-1-7精确去重优化
* 6-1-8其他优化
* 6-2-1Kylin性能优化章总结
* 第七章 电信数据多维分析综合案例/
* 电信数据多维分析综合案例/
* 7-0-1电信数据多维分析综合案例-章导学
* 7-1-1项目背景及需求分析和设计
* 7-2-1环境准备(上)
* 7-2-2环境准备(下)
* 7-3-1模拟数据(上)
* 7-3-2模拟数据(下)
* 7-4-1Cube设计与构建(上)
* 7-4-2Cube设计与构建(下)
* 7-5-1可视化开发(上)
* 7-5-2可视化开发(下)
* 7-6-1测试
* 7-7-1调优
* 7-8-1电信数据多维分析综合案例-章总结
* 第八章 Kylin扩展机制/
* Kylin扩展机制/
* 8-0-1Kylin扩展机制-章导学
* 8-1-1插件机制
* 8-2-1JdbcSource分析
* 8-3-1Kylin扩展机制-章总结
* 第九章 Kylin运维/
* Kylin运维/
* 9-0-1Kylin运维-章导学
* 9-1-1生产环境部署
* 9-2-1监控诊断
* 9-3-1日常运维
* 9-4-1Kylin运维-章总结






