/ETLPlatform

多数据源,大规模数据提取转换加载

Primary LanguageJava

ETLPlatform

多数据源,大规模数据提取转换加载平台搭建

SparkML Pipeline机器学习模块+Smile机器学习应用

SparkPlatform\src\main\java\com\application\ml

具体说明博客地址: https://zhangruipython.github.io

Spark Structured Streaming结合kafka流式计算应用

SparkPlatform\src\main\java\com\application\stream

数据源:rocksdb

消息队列中间件:kafka

数据处理:structured streaming

流程图如下

SparkStructuredStream数据流处理.png