Pinned Repositories
flink-kafka-mysql
source from kafka and sink to mysql
flink-training-exercises
- 如何建立一个环境来开发Flink程序 - 如何实现流数据处理管道 - Flink管理状态 - 如何使用事件时间一致计算准确的分析 - 如何在连续流上构建事件驱动的应用程序 - Flink如何能够提供容错的、有状态的流处理和精确的一次语义 - 各种operator实现 一 项目概览 出租车数据集包含纽约市出租车的信息:每一次骑行都由两个事件表示:旅程开始事件和旅程结束事件;出租车车费数据的相关数据集,实现以下算法: 1、清洗掉开始或者结束经纬度都不在纽约市区域内的行程记录日志 2、计算出租车上/下客人热点区域 3、Event Time 和 Watermarks、窗口(Windows)等操作 4、事件驱动应用,KeyedProcessFunction的实现 5、基于State的计算,将每次乘车的 TaxiRide 和 TaxiFare 记录进行 join 操作 6、Checkpoints 和 Savepoints 7、广播状态运用 等等...
learning-flink
主要提供了一些flink api结合的case。重点是为Flink的状态和时间管理api提供直观的介绍,掌握了这些基础知识后,能够更好地理解和运用flink
my-flink-project
my-flink-project
SparkDemo
SparkDemo
peigenxiao's Repositories
peigenxiao/flink-kafka-mysql
source from kafka and sink to mysql
peigenxiao/flink-training-exercises
- 如何建立一个环境来开发Flink程序 - 如何实现流数据处理管道 - Flink管理状态 - 如何使用事件时间一致计算准确的分析 - 如何在连续流上构建事件驱动的应用程序 - Flink如何能够提供容错的、有状态的流处理和精确的一次语义 - 各种operator实现 一 项目概览 出租车数据集包含纽约市出租车的信息:每一次骑行都由两个事件表示:旅程开始事件和旅程结束事件;出租车车费数据的相关数据集,实现以下算法: 1、清洗掉开始或者结束经纬度都不在纽约市区域内的行程记录日志 2、计算出租车上/下客人热点区域 3、Event Time 和 Watermarks、窗口(Windows)等操作 4、事件驱动应用,KeyedProcessFunction的实现 5、基于State的计算,将每次乘车的 TaxiRide 和 TaxiFare 记录进行 join 操作 6、Checkpoints 和 Savepoints 7、广播状态运用 等等...
peigenxiao/my-flink-project
my-flink-project
peigenxiao/learning-flink
主要提供了一些flink api结合的case。重点是为Flink的状态和时间管理api提供直观的介绍,掌握了这些基础知识后,能够更好地理解和运用flink
peigenxiao/SparkDemo
SparkDemo