值不值得学:先看它解决什么工作场景

这门资料的核心是 Apache Kylin,一个面向海量数据的 OLAP 分析引擎。它真正能解决的问题很具体:当你的业务表数据量到了亿级甚至千亿级,用传统关系型数据库跑多维聚合查询会卡死或超时,用纯 Spark 做临时计算又太慢,Kylin 的做法是预先把维度组合算好,查询时直接命中预计算结果,把秒级响应拉回来。资料里拿电信数据做案例,正是因为这类场景天然有海量明细数据、固定维度、高频查询的特征。如果你日常工作是做数据平台、数仓或大数据分析,经常被查询性能和资源消耗卡住,这门课讲的思路就有直接参考价值;如果你只是想做日常报表、数据量在百万级以内,用普通查询引擎或 BI 工具就够了,上 Kylin 反而增加维护成本。

适合什么基础,建议先看哪几块

这份资料不适合零基础。它默认你已经熟悉关系型数据库和基本 SQL,能理解维度建模里事实表、维度表、星型模型这些概念,最好接触过 Hadoop 生态。资料开头确实补了 OLAP 与 OLTP 的区别、Cube 和 Cubeid 的原理,但这部分是快速过概念,不会从零教数据库基础。建议的看课顺序是:先把第一章的概述和适用场景看完,搞清楚 Kylin 适合什么、不适合什么;然后直接跳到第二章的工作原理和体系架构,理解它怎么用预计算把查询变快。这两块是判断后续内容能不能落地的前提。增量构建和实时构建那部分,建议等看完原理再上手,否则只照着操作步骤走,遇到参数调优会抓瞎。

学完能独立做什么,资料怎么配合练习

把核心内容走完之后,你应该能独立完成一件事:给一个已有的大数据查询场景,判断 Kylin 是不是合适的方案,如果是,能自己设计 Cube、配置增量构建、做基础性能优化,最后让多维查询在可接受时间内返回。资料里的电信多维分析项目就是用来验证这一点的。配合练习的建议是:不要只看视频跟着点界面,先拿项目里的数据结构和业务需求自己想一遍 Cube 该怎么设计、哪些维度该留哪些该剪,再对照课程的做法找差距。性能优化那几节尤其要动手,因为 Cube 构建时间和查询速度高度依赖具体数据分布,光看参数表没用,得自己跑几次才能体会。整个资料的价值在于把原理、架构和实际工程问题串起来,把它当参考手册用,比一口气刷完更划算。


本课程讲解Kylin原理、架构、Kylin全链路性能优化、Cube增量构建、Kylin 3.0实时构建新特性等,最后又通过一个电信数据多维分析项目讲解了Kyli

课程目录

*   第一章 Kylin概述/

  *   Kylin概述/

    *   1-0-1Kylin概述-章导学

    *   1-1-1Kylin是什么

    *   1-2-1Kylin前置知识之OLAP和OLTP及事实表维度表

    *   1-2-2Kylin前置知识之模型和维度

    *   1-2-3Kylin前置知识之Cube和Cubeid

    *   1-3-1Kylin适用场景

    *   1-4-1Kylin概述-章总结

*   第二章 Kylin技术架构与运行原理/

  *   Kylin技术架构与运行原理-课程所有资料在本节下载/

    *   2-0-1Kylin运行原理与架构-章导学

    *   2-1-1Kylin工作原理

    *   2-2-1Kylin体系架构

    *   2-3-1Kylin运行原理与架构-章总结

*   第三章 Kylin快速安装和使用/

  *   Kylin快速安装和使用/

    *   3-0-1Kylin快速安装和使用-章导学

    *   3-1-1Kylin部署模式

    *   3-2-1构建kylin环境之版本选择

    *   3-2-2构建kylin环境之构建基础环境(上)

    *   3-2-3构建kylin环境之构建基础环境(中)

    *   3-2-4构建kylin环境之构建基础环境(下)

    *   3-2-5构建Kylin环境(上)

    *   3-2-6构建Kylin环境(中)

    *   3-2-7Kylin环境安装(下)

    *   3-3-1Kylin Hello World之导入Sample数据

    *   3-3-2Kylin Hello World之构建和查询Cube

    *   3-4-1初识Cube开发过程(一)

    *   3-4-2初识Cube开发过程(二)

    *   3-4-3初识Cube开发过程(三)

    *   3-4-4初识Cube开发过程(四)

    *   3-5-1Kylin快速安装和使用-章总结

*   第四章 Cube增量构建/

  *   Cube增量构建/

    *   4-0-1Cube增量构建-章导学

    *   4-1-1增量构建的意义

    *   4-2-1创建增量Cube

    *   4-3-1增量构建调度

    *   4-4-1Cube碎片管理

    *   4-5-1Cube增量构建-章总结

*   第五章 Cube实时构建/

  *   Cube实时构建/

    *   5-0-1Cube实时构建-章导学

    *   5-1-1从流式构建到实时构架

    *   5-2-1流式构建

    *   5-3-1实时构建的目的与架构

    *   5-3-2实时构建过程详解

    *   5-3-3查询过程详解

    *   5-3-4实时构建详细设计之存储设计

    *   5-3-5实时构建详细设计之高可用设计和故障分析

    *   5-4-1Cube实时构建-章总结

*   第六章 Kylin性能优化/

  *   Kylin性能优化/

    *   6-0-1Kylin性能优化-章导学

    *   6-1-1优化思路及数据源端优化

    *   6-1-2Cube剪枝优化(上)

    *   6-1-3Cube剪枝优化(下)

    *   6-1-4并发粒度优化

    *   6-1-5RowKey优化

    *   6-1-6Cube存储及IO优化

    *   6-1-7精确去重优化

    *   6-1-8其他优化

    *   6-2-1Kylin性能优化章总结

*   第七章 电信数据多维分析综合案例/

  *   电信数据多维分析综合案例/

    *   7-0-1电信数据多维分析综合案例-章导学

    *   7-1-1项目背景及需求分析和设计

    *   7-2-1环境准备(上)

    *   7-2-2环境准备(下)

    *   7-3-1模拟数据(上)

    *   7-3-2模拟数据(下)

    *   7-4-1Cube设计与构建(上)

    *   7-4-2Cube设计与构建(下)

    *   7-5-1可视化开发(上)

    *   7-5-2可视化开发(下)

    *   7-6-1测试

    *   7-7-1调优

    *   7-8-1电信数据多维分析综合案例-章总结

*   第八章 Kylin扩展机制/

  *   Kylin扩展机制/

    *   8-0-1Kylin扩展机制-章导学

    *   8-1-1插件机制

    *   8-2-1JdbcSource分析

    *   8-3-1Kylin扩展机制-章总结

*   第九章 Kylin运维/

  *   Kylin运维/

    *   9-0-1Kylin运维-章导学

    *   9-1-1生产环境部署

    *   9-2-1监控诊断

    *   9-3-1日常运维

    *   9-4-1Kylin运维-章总结