/KG-Task-Ctl

低代码数据治理脚手架

Primary LanguageJavaApache License 2.0Apache-2.0

低代码数据治理脚手架

一款基于SpringBoot实现的低代码数据治理脚手架 包括不限于：数据同步、数据比对、数据归档、数据恢复能力

引入依赖

     <dependency>
        <groupId>io.github.persistencelkg</groupId>
        <artifactId>kg-ctl-core</artifactId>
        <version>1.0.3.RELEASE</version>
     </dependency>

操作步骤

参考kg-ctl-quick-start实践
wiki: 使用文档

部分效果

showcase.gif

  1. 核心代码量【手动coding行数20行以内】 co.png
  2. 效果展示- 日志收集 log.png
  3. 钉钉同步进度 ding.png
  4. Grafana 可视化监控 perf.png

整体框架

ctl.png

功能描述

  1. 面向通用数据治理，减少90%的重复冗余的数据同步工作开发
  2. 精细化控制任务频次、量级甚至可以联动高低峰时段
  3. 支持多维度数据同步，支持业务唯一id、时间段，包括分表
  4. 提供自动check同步数据源之间表结构差异，及时感知业务变更对目的数据源的影响
  5. 可视化监控告警
  6. 钉钉进度同步
组件 数据源 监控 配置化 告警 部署成本
KG-CTL 主流关系型数据 => 主流关系型数据库
关系型数据库=> ES、TIDB		 基于Prometheus更细粒度的任务同步、比对的进度、成功数和失败任务数，可全局查看 包括任务参数配置、动态频次控制 钉钉 1. 可直接以SDK集成在业务中
2. 单独抽离一个服务专项负责同步
canal 理论可支持任意关系型数据之间互转
关系型数据库=> ES、HBASE		 只有Instance级别 只有静态配置，改动需重启 无，需要配置ELK 1.需要部署ZK
2.必须部署服务端

TODO

  1. 增加数据表结构的检查
  2. 增加对ES的支持

写在最后

  1. 引用和复制请注明出处
  2. 商用需要单独联系本人：18634185909@163.com, 任何未经授权使用视为侵权