yinhongyan/flink-notes

flink学习笔记

flink-notes

flink的一些学习材料，将在github上持续更新

https://github.com/pierre94/flink-notes

一、官方资料索引

• Flink中文官方文档 | 综合类，中文，不太全
• Flink官方博客 | 读官方博客与文档是学习的首选方向
• Flink中文社区ververica | Flink中文社区,大量学习资料和视频
• Apache Flink 中文用户邮件列表
• Apache Flink 用户邮件列表 | 英文，更活跃
• Flink社区包 https://flink-packages.org/
• Flink-FLIP | Flink Improvement Proposals

二、技术博客索引

• JarkWu的博客 | Flink committer

• jrwang的flink源码解读系列 | 源码解读质量不错

• VinoYang的博客 | Flink项目活跃贡献者，主要是flink早期的一些文章

• flink-china:flink-training-course | 本系列课程由 Apache Flink Community China 官方出品。主要是钉钉群里的直播视频和PPT

• realguoshuai的Hadoop生态圈中常用大数据组件文档 | 包含Flink Solr Sparksql ES Scala Kafka Hbase/phoenix Redis Kerberos

• zhisheng17的flink博客 | 含 Flink 入门、概念、原理、实战、性能调优、源码解析等内容，适合入门学习。 不过一些内容可能要到他付费的知识星球才能看到。

• heibaiying/BigData-Notes | 包含Hadoop\Hive\Spark\Storm\Flink\Hbase\Kafka\Zookeeper\Flume\Sqoop\Azkaban\Scala等模块的文章

• Flink Forward Asia 2019 | 资料位于Flink中文社区ververica.cn

• Flink Forward China 2018 | 资料位于github

• youtube: Flink Forward San Francisco 2015-2017 | 需要翻wall上外网

三、优秀文章索引

1、基础入门

• flink web 上传的jar包在哪里？ | ${flink-web-url}/#/job-manager/config 的web.tmpdir配置相关

• flink如何处理依赖

• Apache Flink 类型和序列化机制简介

• 聊聊flink的ParameterTool | flink程序使用启动参数时会用到

2、进阶

Flink on yarn

• Flink on yarn 官方文档 | Session-Cluster和Per-Job-Cluster模式

Metric

• Flink metric 官方文档 | Counter\Gauge\Meter\Histogram
• 详解 Flink 指标、监控与告警 |

算子

• fanrui:在 Flink 算子中使用多线程如何保证不丢数据？ | 基于CyclicBarrier实现,提高 CPU 利用率
• Flink有什么办法解决由于Key partition造成的数据倾斜问题？ ---待补充
• Flink WaterMark分析

checkpoint

• Flink Checkpoint 问题排查实用指南
• Flink 1.11 Unaligned Checkpoint 解析 | 反压下的checkpoint

OPS

• Flink 流式计算在节省资源方面的简单分析 | Apache Flink 在小米的发展;含与spark的模型对比。
• Flink HA & 恢复策略 &并发度 --待补充
• Flink 中的应用部署：当前状态与新应用模式 | Flink 1.11 引入了 Application 模式（应用模式）
• 数据处理能力相差 2.4 倍？Flink 使用 RocksDB 和 Gemini 的性能对比实验

CEP

• 基于 Flink 构建 CEP 引擎的挑战和实践

CDC

• Flink SQL CDC 上线！我们总结了 13 条生产实践经验 | Flink SQL CDC 在生产环境的落地实践以及总结的实战经验
• Flink SQL CDC 的介绍和教程 | B站视频
• flink-cdc-connectors 项目官网 | flink-cdc-connectors 项目官网 github
• 自定义 Format 消费 Maxwell CDC 数据

SQL

• Flink SQL FileSystem Connector 分区提交与自定义小文件合并策略​
• Flink 1.11 SQL 使用攻略

源码分析

• 万字长文详解 Flink 中的 CopyOnWriteStateTable

misc

• 解决问题 1474 个，Flink 1.11 究竟有哪些易用性上的改善？

3、Flink应用文章

ETL

• 基于 Flink 的典型 ETL 场景实现方案 | 美团点评的实践
• Flink 1.11 新特性之 SQL Hive Streaming 简单示例
• 字节跳动基于Flink的MQ-Hive实时数据集成

机器学习

• 微博基于 Flink 的机器学习实践

4、官方实用文档索引

• flink prometheus

5、比赛

• Apache Flink极客挑战赛——Flink TPC-DS性能优化

• Apache Flink极客挑战赛——垃圾图片分类

四、学习书籍

• pdf:《追源索骥：透过源码看懂Flink核心框架的执行流程.pdf》 | from github

• pdf:《Introduction to Apache Flink》 | 英文版,100多页的小册子

• pdf:《Flink基础教程》(《Introduction to Apache Flink》中文版) | 上面那本书《Introduction to Apache Flink》的中文版

• 微信读书:《深入理解Flink:实时大数据处理实践》 | 包含一部分FlinkML

• 微信读书:《Flink原理、实战与性能优化》 | github源码地址 https://github.com/zlb1028/learning-flink

• flink中文社区出品: 《flink知识图谱》 | 脑图形式: 一图在手,学好flink不愁! (此图待深入学习)

• 《Apache Flink特刊（正式电子版）2019》

• 《为什么学习flink》

• 《flink关于checkpoint的疑虑》

• 《flink十大技术难点实践》

五、相关开源项目

1、flinkx:基于flink实现的分布式数据同步工具

• flinkx | 自己的一篇学习总结《数据同步工具Flinkx的研究与实践》

2、flinkk8soperator

• flinkk8soperator github地址 | 待测试

3、Alink

• Alink github地址

六、开发实践

1、入门案例

• WordCount:统计单词出现的频率

2、电商行为分析系列

可以参考尚硅谷的这篇文档自由发挥

• 状态编程:订单超时告警

• Connect:Flink双流处理:实时对账实现

3、FlinkSQL

• wuchong: Flink 1.9 实战：使用 SQL 读取 Kafka 并写入 MySQL
• wuchong: Demo：基于 Flink SQL 构建流式应用 | Kafka, MySQL, Elasticsearch, Kibana, docker

4、Cloudera的flink教程

• Tutorials for Flink on Cloudera

七、企业案例

• Tencent
• 阿里巴巴
• B站
• ByteDance(字节跳动)
• Criteo
• eBay
• DellEMC
• DiDi(滴滴)
• Intel

……

内容过多，汇聚到独立页面。详见 这里！

八、flink-weekly学习摘要

摘取Flink Weekly中自己感兴趣的一些部分

详情

九、MISC

• 如何从小白成长为 Apache Committer? | 希望自己2~3年内也能成为一个Apache Committer

微信公众号

更多文章与内容请关注: