这门课解决什么问题
Flink 现在是实时数仓和流计算里的主力工具,很多公司在做实时大屏、风控预警、实时数仓同步时,第一选择基本是它。但很多上班族自己看官方文档,会被运行模式、提交方式、高可用这些概念卡住,搭完单机版就不知道下一步该干什么。这门课解决的就是从零到能独立写出并提交一个 Flink 作业的断层问题,重点是让你先理解 Flink 为什么这么设计,再动手跑通第一个 wordcount,而不是一上来就讲底层原理。课程前段把环境搭建、HA 配置、on yarn 提交、rest api 调用都串了一遍,等于把日常运维和开发要用到的核心入口都覆盖了,后面再接离线 api,属于先把地基打稳再讲写代码的逻辑。
适合什么基础,建议先看哪几块
这门课不适合完全没写过代码的人,默认你有 Java 基础,最好用过 Hadoop 或 Spark,能看懂 lambda 表达式和集合操作。如果你之前只做过离线批处理,没接触过流式计算,这门课的入门节奏是够的,不会一上来就压一堆状态管理和窗口语义。建议先看的几块:第一是 Flink 的安装和 jobmanager 的 web 页面,这俩能让你快速有一个可视化的体感,知道作业跑起来长什么样;第二是 on yarn 模式,因为公司里基本不会让你用独立集群,多半是提交到 yarn 上跑,这块必须先弄熟;第三是 wordcount,虽然简单,但它是理解 Flink 数据流模型的最小可用例子,不要跳过。离线 api 那块可以放在环境跑通之后再看,因为它本质上是帮你理解 Flink 的 api 抽象,和后面要学的流式 api 是同一套体系。
学完能独立做什么,资料怎么配合练习
学完这门课,你应该能独立完成这几件事:在本地或测试环境搭一套 Flink 集群,配好高可用;把一个简单的数据处理逻辑写成 Flink 作业,分别用本地模式和 on yarn 模式提交跑通;通过 jobmanager 的 web 页面和 rest api 查看作业状态、排查简单错误;看懂 Flink 离线 api 的写法,知道 Source、Transformation、Sink 这几个核心概念怎么拼在一起。资料配合练习的建议是:每看完一个环境搭建章节,立刻在自己的虚拟机或云主机上复现一遍,不要只看不动手;wordcount 那段建议自己改一改数据源,比如换成读本地文件再换成读 socket 流,体会一下批流在 api 上的差异;on yarn 部分一定要确保自己有一个可用的 Hadoop 环境,否则提交会报各种依赖问题。这门课的定位是入门和打地基,学完之后你离做生产级实时数仓还有距离,但至少不会被环境搭建和作业提交卡住,后续再补状态管理、时间语义和窗口函数会顺很多。
新一代大数据计算引擎 Flink快速入门
课程目录
* 第一章 flink入门/
* flink引入/
* 1、flink引入
* flink简介/
* 2、flink简介
* flink特性/
* 3、flink特性
* flink安装/
* 4、flink安装
* jobmanager的web页面/
* 5、jobmanager的web页面
* flink的restapi/
* 6、flink的restapi
* flink的高可用HA搭建/
* 7、flink的高可用HA搭建
* flink运行wordcount/
* 8、flink运行wordcount
* flink on yarn/
* 9、flink on yarn
* flink离线api/
* 10、flink离线api






