这门课解决什么问题

这门课解决的是企业级实时数据场景下，如何用 Flink 做流计算、用 ClickHouse 做近实时存储与查询这一整套问题。不是单纯讲一个组件，而是把 Kafka 作为数据源、Flink 作为计算引擎、ClickHouse 作为结果落盘，串成一条可落地的实时大数据链路。

适合什么基础、建议先看哪几块

适合有 Java/Scala 基础、用过 Spark 或了解 MySQL/Redis 的读者。如果你只用过批处理、没碰过 Flink，建议先补一遍流式处理的编程模型；如果你懂 Kafka 但没写过 Flink 作业，第 11 章的 Kafka 对接部分就是重点。值得精看的章节有三块：第一块是第 11 章，Flink 对接 Kafka 的完整开发链，从基础入门、代码开发、参数配置化、数据封装到结果入 Redis，覆盖了生产级作业要处理的所有环节；第二块是第 11 章末尾的 ExactlyOnce 与两阶段提交，这是实时计算场景里最容易踩坑的点，决定了作业在 Kafka 消费、Checkpoint、状态后端这些环节的行为；第三块是第 12 章 ClickHouse 初识，数据类型、表引擎、分布式查询这些概念必须吃透，否则后面项目实战里建表和查数会反复卡壳。

学完能独立做什么、资料怎么配合练习

学完能独立做的是：能独立写一个 Flink 作业，从 Kafka 读数据、做窗口聚合、写回 ClickHouse 和 Redis；能独立建 ClickHouse 表、写分布式查询；能在有状态、有 Checkpoint 的环境下跑通一个可回滚的实时分析链路。资料包建议拆开用：第 11 章的代码开发部分适合跟着写、自己改参数跑通，重点练"配置化"和"封装"两个能力；第 12 章适合对照着学数据类型和建表语法，把对应的 SQL 抄一遍；第 10 章的项目实战是整门课的高光，建议先按功能一、功能二顺序做一遍，遇到卡的地方再回第 11 章查对应知识点。资料包不是看完就完，是跟着写代码、改参数、做项目，练到能独立搭出一段可交付的实时大数据链路为止。

课程目录

第10章 【项目实战第二篇】基于Flink+ClickHouse构建大数据实时分析项目实战
10-1.mp4 5.05M
10-2 功能一之需求分析.mp4 72.54M
10-3 功能一之实现01.mp4 52.68M
10-4 功能一之实现02.mp4 191.66M
10-5 功能一之实现03.mp4 148.01M
10-6 功能二之需求分析.mp4 36.66M
10-7 功能二之实现01.mp4 102.98M
10-8 功能二之实现02.mp4 44.33M
10-9 重难点总结.mp4 83.94M
第11章 【项目实战第三篇】基于Flink+ClickHouse构建大数据实时分析项目实战
11-1 课程目录.mp4 5.94M
11-10 Flink ExactlyOnce图解.mp4 45.93M
11-11 Flink两阶段提交.mp4 117.50M
11-2 Flink对接Kafka数据入门.mp4 106.61M
11-3 Flink整合Kafka代码开发.mp4 164.87M
11-4 参数配置化并读取.mp4 84.60M
11-5 Flink对接Kafka完整参数配置开发.mp4 119.39M
11-6 Flink对接Kafka数据封装V1版本.mp4 54.59M
11-7 Flink对接Kafka数据封装V2版本.mp4 18.30M
11-8 Flink对接Kafka数据封装V3版本.mp4 76.36M
11-9 Flink对接Kafka数据分析结果入Redis.mp4 90.73M
第12章 初识ClickHouse
12-1 课程目录.mp4 4.70M
12-10 数据类型之Date&DateTime&DateTime64.mp4 47.69M
12-11 数据类型之Array.mp4 13.48M
12-12 数据类型之Tuple.mp4 24.67M
12-13 数据类型之Nested.mp4 27.96M
12-14 数据库和表创建语法及数据库引擎.mp4 44.61M
12-15 初识表引擎.mp4 25.31M
12-16 表引擎之TinyLog.mp4 55.09M
12-17 表引擎之StripeLog.mp4 42.59M
12-18 表引擎之Log.mp4 19.26M
12-19 ClickHouse整合MySQL.mp4 75.44M
12-2 背景需求.mp4 8.09M
12-20 ClickHouse API编程.mp4 55.67M
12-3 初识ClickHouse.mp4 72.34M
12-4 ClickHouse部署及快速入门.mp4 76.84M
12-5 ClickHouse常用参数讲解.mp4 22.90M
12-6 数据类型之Int和Float.mp4 60.71M
12-7 数据类型之Decimal.mp4 56.49M
12-8 数据类型之Bool.mp4 10.98M
12-9 数据类型之String&FixedString&UUID.mp4 53.34M
第13章 【项目实战终极篇】基于Flink+ClickHouse构建大数据实时分析项目实战
13-1 课程目录.mp4 4.12M
13-10 引入CEP.mp4 38.64M
13-11 CEP模式概述.mp4 66.71M
13-12 CEP功能开发.mp4 102.02M
13-13 CEP功能测试.mp4 61.47M
13-14 前端UI展示.mp4 53.63M
13-2 现存问题描述及分析.mp4 32.35M
13-3 ReplacingMergeTree引擎的用法.mp4 47.18M
13-4 CH表如何设计.mp4 17.19M
13-5 CH ID生成策略.mp4 128.46M
13-6 Flink整合CH插入数据.mp4 136.91M
13-7 使用Flink进行数据清洗.mp4 115.88M
13-8 Flink清洗后的数据落地到CH并进行各种维度的统计分析.mp4 107.32M
13-9 全流程服务器测试.mp4 62.24M
第14章 Flink DataSet篇
14-1 课程目录.mp4 3.51M
14-10 Sink.mp4 91.06M
14-11 Flink中分布式缓存的使用.mp4 92.10M
14-12 Flink中计数器的使用.mp4 80.80M
14-13 重难点总结.mp4 39.93M
14-2 Flink批处理概述.mp4 92.87M
14-3 对接数据源为csv格式的数据.mp4 134.15M
14-4 对接数据源为压缩后的数据.mp4 20.59M
14-5 对接数据源为子目录的数据.mp4 31.20M
14-6 Transformation之map.mp4 43.68M
14-7 Transformation之mapPartition.mp4 40.37M
14-8 Transformation之distinct.mp4 33.65M
14-9 Transformation之first-n.mp4 95.53M
第15章 Flink Table&SQL API篇
15-1 课程目录.mp4 7.22M
15-10 Flink Table API&SQL Connector概述.mp4 54.52M
15-11 Flink Table API&SQL FileSystem Connector读取数据.mp4 122.95M
15-12 Flink Table API&SQL FileSystem Connector写出数据.mp4 59.61M
15-13 Flink Table API结合Window及EventTime编程.mp4 146.05M
15-14 Flink SQL结合Window及EventTime编程.mp4 57.65M
15-15 Flink UDF函数概述.mp4 72.98M
15-16 Flink UDF函数编程实战.mp4 76.22M
15-17 重难点总结.mp4 55.67M
15-2 Flink Table API&SQL概述.mp4 66.53M
15-3 Flink Table API&SQL编程模型.mp4 96.65M
15-4 Flink SQL整合DataStream编程.mp4 95.45M
15-5 Flink Table API整合DataStream编程.mp4 38.00M
15-6 Flink Table API整合DataStream编程toRetractStream使用.mp4 82.84M
15-7 动态表和连续查询.mp4 72.95M
15-8 图解连续查询.mp4 45.90M
15-9 Table转Stream的方式.mp4 66.53M
第16章 Flink版本升级篇
16-1 课程目录.mp4 3.95M
16-2 开发环境准备.mp4 57.14M
16-3 老版本keyBy的用法.mp4 78.61M
16-4 新版本keyBy的用法.mp4 32.25M
16-5 老版本WM的用法.mp4 80.96M
16-6 新版本WM的用法.mp4 108.28M
16-7 新老版本Table API&SQL整合WM的用法.mp4 226.24M
16-8 Flink on YARN运行及升级.mp4 191.13M
第17章 【拓展】基于Flink构建实时数仓项目实战
17-1 课程目录.mp4 7.19M
17-10 双流JOIN实现之未关联上的数据处理方案.mp4 39.10M
17-11 实时数仓数据流转&命名规范.mp4 29.58M
17-2 实时数仓架构及分层.mp4 117.92M
17-3 认识Canal.mp4 52.11M
17-4 Canal对接Kafka联调.mp4 148.68M
17-5 使用TCP方式拉取Canal数据.mp4 147.81M
17-6 双流JOIN设计思路.mp4 39.55M
17-7 双流JOIN实现之对接数据.mp4 84.07M
17-8 双流JOIN实现之设置WM.mp4 55.87M
17-9 双流JOIN实现之JOIN实现.mp4 102.03M
第18章 总结和展望
18-1 课程总结和回顾.mp4 34.14M
第1章 Flink认知篇 试看
1-1 课前须知，这里有你需要了解得一切_.mp4 42.22M
1-2 课程目录_.mp4 6.61M
1-3 业界大数据分布式计算框架_.mp4 8.50M
1-4 初识Flink_.mp4 32.35M
1-5 什么是Flink_.mp4 150.90M
1-7 学习一个新框架的方法论_.mp4 91.84M
第2章 Flink本地开发快速上手篇 试看
2-1 课程目录_.mp4 2.98M
2-10 基于Flink开发第一个实时处理案例之功能实现三_.mp4 53.09M
2-11 基于Flink开发第一个批处理案例之需求分析_.mp4 8.74M
2-12 基于Flink开发第一个批处理案例之功能实现_.mp4 48.17M
2-13 基于Flink开发第一个批处理案例之功能实现重构_.mp4 32.07M
2-14 基于Flink编程套路总结_.mp4 35.67M
2-15 本章重难点总结_.mp4 15.71M
2-2 Maven部署_.mp4 63.86M
2-3 IDEA社区版和旗舰版区别_.mp4 12.04M
2-4 基于官方提供的命令来构建Flink项目_.mp4 73.77M
2-5 基于IDEA构建多module的Flink项目_.mp4 120.64M
2-6 Flink编程模型_.mp4 15.46M
2-7 基于Flink开发第一个实时处理案例之需求分析_.mp4 15.98M
2-8 基于Flink开发第一个实时处理案例之功能实现一_.mp4 120.14M
2-9 基于Flink开发第一个实时处理案例之功能实现二_.mp4 20.33M
第3章 Flink部署篇
3-1 课程目录_.mp4 2.66M
3-3 Flink架构_.mp4 82.67M
3-4 Flink部署_.mp4 128.88M
3-5 Flink UI参数讲解_.mp4 28.60M
3-6 通过命令行方式提交&展示&取消Flink作业_.mp4 117.01M
3-7 通过UI方式提交&展示&取消Flink作业_.mp4 16.75M
3-8 关于并行度的补充_.mp4 24.96M
第4章 Flink实时处理核心API基础篇
4-1 课程目录_.mp4 2.36M
4-10 Transformation算子之map_.mp4 110.91M
4-11 Transformation算子之filter_.mp4 64.28M
4-12 Transformation算子之flatMap_.mp4 56.47M
4-13 Transformation算子之keyBy_.mp4 75.05M
4-14 Transformation算子之reduce_.mp4 92.87M
4-15 Sink概述_.mp4 27.81M
4-16 Sink之print&printToErr及并行度_.mp4 102.29M
4-2 DataStream API概述_.mp4 48.36M
4-3 StreamExecutionEnvironment详解_.mp4 110.12M
4-4 Source概述_.mp4 123.08M
4-5 Source API编程之Socket及并行度_.mp4 61.84M
4-6 Source API编程之并行集合及并行度_.mp4 79.29M
4-8 Source API编程之对接Kafka数据_.mp4 90.02M
4-9 Transformation概述_.mp4 64.07M
第5章 Flink实时处理核心API进阶篇 试看
5-1 课程目录_.mp4 5.44M
5-10 Transformation算子之CoMapFunction_.mp4 66.86M
5-11 Transformation算子之CoFlatMapFunction_.mp4 27.38M
5-12 自定义分区器_.mp4 129.44M
5-13 自定义MySQLSink功能实现_.mp4 119.72M
5-14 自定义MySQLSink需求分析_.mp4 61.11M
5-15 RedisSink功能实现_.mp4 98.50M
5-2 MapFunction&RichMapFunction认识_.mp4 86.18M
5-3 通过RichMapFunction认识对应的生命周期方法_.mp4 90.40M
5-4 SourceFunction代码层级_.mp4 48.26M
5-5 自定义单并行度Source_.mp4 104.60M
5-6 自定义多并行度Source_.mp4 25.06M
5-7 自定义Source读取MySQL数据_.mp4 138.56M
5-8 Transformation算子之union_.mp4 49.57M
5-9 Transformation算子之connect_.mp4 92.33M
第6章 【项目实战第一篇】基于Flink+ClickHouse构建大数据实时分析项目实战
6-1 课程目录_.mp4 5.11M
6-10 功能一实现之统计结果入Redis_.mp4 68.79M
6-11 功能一实现之拓展_.mp4 43.40M
6-12 需求二之功能分析_.mp4 26.06M
6-13 需求二之IP解析测试_.mp4 61.99M
6-14 功能二实现之自定义UDF函数解析IP地址_.mp4 67.05M
6-15 功能二实现之统计分析及入库_.mp4 55.43M
6-16 需求二之异步IO补充_.mp4 163.21M
6-17 前面两个需求可能会遇到的问题提炼_.mp4 33.17M
6-18 重难点总结_.mp4 33.38M
6-2 同类产品分析_.mp4 40.61M
6-3 项目架构_.mp4 12.62M
6-4 项目子工程创建_.mp4 22.72M
6-5 字段说明_.mp4 82.84M
6-6 用户行为日志类定义_.mp4 27.66M
6-7 功能一需求分析_.mp4 13.93M
6-8 功能一实现之数据清洗_.mp4 67.96M
6-9 功能一实现之统计分析_.mp4 52.25M
第7章 Flink时间语义及Window API篇
7-1 课程目录_.mp4 6.12M
7-10 窗口生命周期_.mp4 58.61M
7-11 基于ProcessingTime的Non-Keyed滚动窗口实战_.mp4 163.83M
7-12 基于ProcessingTime的Keyed滚动窗口实战_.mp4 46.22M
7-13 WindowFunction概述_.mp4 58.76M
7-14 WindowFunction之ReduceFunction实战_.mp4 63.71M
7-15 WindowFunction补充_.mp4 47.37M
7-16 WindowFunction之ProcessWindowFunction实战_.mp4 126.97M
7-17 重难点总结_.mp4 53.51M
7-2 时间三兄弟_.mp4 60.58M
7-3 时间三兄弟举例解释_.mp4 20.12M
7-4 初识Window_.mp4 12.22M
7-5 Window分类_.mp4 79.86M
7-6 Window Assigner_.mp4 52.10M
7-7 滚动窗口_.mp4 26.31M
7-8 滑动窗口_.mp4 25.94M
7-9 会话窗口_.mp4 24.58M
第8章 Flink Watermark
8-1 课程目录_.mp4 4.59M
8-2 Watermark概述_.mp4 103.83M
8-3 基于EventTime和Watermark结合滚动窗口综合案例之没有延迟_.mp4 156.48M
8-4 基于EventTime和Watermark结合滚动窗口综合案例之有延迟_.mp4 155.61M
8-5 基于EventTime和Watermark结合滚动窗口综合案例之延迟数据丢失_.mp4 23.96M
8-6 基于EventTime和Watermark结合滚动窗口综合案例之捕获到延迟数据_.mp4 103.82M
8-7 重难点总结_.mp4 49.11M
第9章 Flink状态管理篇
9-1 课程目录.mp4 6.77M
9-10 Checkpoint整合重启策略及状态功能测试screenflow.mp4 38.39M
9-11 Flink StateBackend.mp4 53.91M
9-12 Flink StateBackend之MemoryStateBackend.mp4 60.72M
9-13 Flink StateBackend之FsStateBackend.mp4 34.98M
9-14 Flink StateBackend之RocksDBStateBackend.mp4 69.79M
9-15 FsStateBackend 本地文件系统功能测试.mp4 30.60M
9-16 ExternalizedCheckpointCleanup在生产上的使用.mp4 69.01M
9-17 FsStateBackend HDFS功能测试.mp4 28.09M
9-18 Checkpoint全流程测试之Flink UI操作.mp4 51.82M
9-19 Checkpoint全流程测试之命令行操作.mp4 29.69M
9-2 状态能为什么带来什么.mp4 36.18M
9-20 Checkpoint小结.mp4 33.31M
9-21 Savepoints.mp4 119.21M
9-22 重难点总结.mp4 11.43M
9-3 State分类.mp4 204.90M
9-4 使用ValueState完成求平均数功能.mp4 156.59M
9-5 使用MapState完成求平均数功能.mp4 72.95M
9-6 Flink Checkpoint机制.mp4 129.39M
9-7 Flink应用程序中开启checkpoint.mp4 73.71M
9-8 Restart Strategy.mp4 92.34M
9-9 Checkpoint整合重启策略功能测试screenflow.mp4 102.27M
资料
coding510-master.zip 57.50kb
mksz510-Flink+ClickHouse 玩转企业级实时大数据开发（完结）/
10