FlinkX Web是在FlinkX之上开发的数据中台项目,提供简单易用的 操作界面,降低用户使用FlinkX的学习成本,缩短任务配置时间,避免配置过程中出错。用户可通过页面选择数据源即可创建数据同步任务,RDBMS数据源可批量创建数据同步任务,支持实时查看数据同步进度及日志并提供终止同步功能,集成并二次开发xxl-job可根据时间、自增主键增量同步数据。
任务"执行器"支持集群部署,支持执行器多节点路由策略选择,支持超时控制、失败重试、失败告警、任务依赖,执行器CPU.内存.负载的监控等等。后续还将提供更多的数据源支持、数据转换UDF、表结构同步、数据同步血缘等更为复杂的业务场景。
框架用途 | 框架名称 | 主要功能 | Github地址 |
---|---|---|---|
数据采集 | Flinkx | 数据的导入导出ETL工具 | Flinkx |
消息中间件 | Kafka | LinkedIn用Scala语言实现,支持hadoop数据并行加载 | Kafka |
数据存储 | Hive | 基于MR的数据仓库工具 | Hive |
离线和实时计算框架 | Flink | 基于Flink,一站式解决批流处理问题 | Flink |
分析数据库 | Kylin | 开源的、分布式的分析型数据仓库 | Kylin |
任务调度 | DolphinScheduler | 可视化DAG工作流任务调度系统 | Dolphin |
元数据管理 | Atlas | 包括 数据分类、集中策略引擎、数据血缘、安全和生命周期管理在内的元数据治理核心能力 | Atlas |
集群监控 | CM+CDH | 制作的一个Hadoop发行版,集成了Hadoop及Hive等与Hadoop关系紧密的工具 | CDH |
非常愉快的和群里的小伙伴探讨产品的方向和远景,我们不比BAT大厂有业务支撑,而各自的中台又有各自的特点,我们希望能够做出一个数据中台出来,能够满足许多的小企业,提供一站式的解决方案,通过实践而不断的壮大自己。当别人提到数据中台就会想起flinkx-web,业界中开源最火的数据中台是flinkx-web,我们希望能够做出世界级别的产品,能够媲美BAT大厂的产品,我们希望因为有我们这群可爱的人,而更能够让世界变得更加美好。
数据中台:
数据源和技术元数据是数据中台的基石
数据采集,数据处理,任务调度,数据血缘,数据模型,业务元数据,数据质量,数据服务,数据可视化。
目前总结如下后续有待补充
请点击:快速开始
文章学习:Flinkx学习
数据中台文章: 数据中台文章
搜索QQ群号[678097205]或者扫描下面的二维码进入Flinkx Web社区的QQ群,目前正是开源的初期阶段,群里达到41人