/tis

Support agile DataOps Based on DataX and Flink-CDC with Web-UI

Primary LanguageJavaApache License 2.0Apache-2.0

Stargazers over time

Stargazers over time tis

TIS介绍

TIS快速为您构建企业级实时数仓库服务,基于批(DataX)流(Flink-CDC)一体数据中台,提供简单易用的操作界面,降低用户实施各端(MySQL、PostgreSQL、Oracle、ElasticSearch、ClickHouse、Doris等) 之间数据同步的实施门槛,缩短任务配置时间,避免配置过程中出错,使数据同步变得简单、有趣且容易上手 详细介绍

v3.4.0涉及到的功能点(2022/1/14):

  1. MySQL 增量同步Datetime类型binlog接收到的时间 比实际UTC时间快8小时,导致下游StarRocks中的时间和上游MySQL的DateTime时间不一致 datavane#89
  2. 数据库名支持中划线 datavane#86
  3. Oracle数据库可以选择系统授权给的其他用户名下的表 datavane#85
  4. 在配置DATAX oracle reader 时,避免大量重复字段出现 datavane#81
  5. 执行TIS 批量任务失败,但是最终任务状态显示失败 datavane#79
  6. Flink实时同步支持阿里云ES同步,填入的用户名、密码可以生效 datavane#76
  7. 重构TIS启动脚本,优化TIS启动时间 datavane#65
  8. TIS启动端口可配置 datavane#62

安装说明

速将TIS在分布式环境中一键安装(支持私有云、公有云等环境),方便、快捷 详细说明

架构

tis

支持的读写组件

Reader Writer

功能一瞥

选择Reader/Writer插件类型 tis

添加MySqlReader tis

设置MySqlReader目标表、列
tis

添加ElasticWriter,可视化设置ElasticSearch的Schema Mapping tis

执行MySql->ElasticSearch DataX实例,运行状态 tis

相关代码

许可协议

TIS is under the Apache2 License. See the LICENSE file for details.

反馈

您在使用过程中对TIS有任何不满或者批评都请不惜斧正,您提出的宝贵意见是对我们最大的支持和鼓励,我要提意见