架构

模块

dataintegration-common : 公共模块
dataintegration-group : 分组管理
dataintegration-gateway : 服务网关
dataintegration-project : 脚本管理
dataintegration-run : 数据集成运行模块
dataintegration-sso : sso单点登录模块
dataintegration-sys : 系统管理模块
dataintegration-model : 模型管理
dataintegration-file-management : 文件管理
dataintegration-ui : 前端vue模块

功能特点

基于kettle实现的web版数据集成平台，致力于提供web可拖拽的数据集成平台。

其主要特点有：

vue2+springCloud架构（后续支持vue3）
支持kettle本地引擎，后续扩展spark引擎
支持ftp/s3协议的文件读取

由于公司采用springcloud微服务架构开发整个数据中台产品，数据集成属于其中的一个子模块，所以暂时还是采用springcloud的架构进行开源，便于版本统一。

用户界面截图

近期研发计划

新版也在同步研发中，后续会开放

参与贡献

非常欢迎大家来参与贡献，贡献流程请参考： TODO

快速试用 Docker

可以参考：http://www.young-datafan.com/docs-data-integration/quick-start/installation-docker/. 这个文档部署演示

如何构建

打包项目

mvn -B clean compile install -Prelease -Dmaven.test.skip=true -Dcheckstyle.skip=true

启动前置环境

创建数据库

使用数据库连接工具连接数据库，创建数据库dataintegration，将项目/install/sql/dataintegration.sql导入数据库中，初始化数据库文件。

服务启动

修改配置

dataintegration-gateway : 服务网关
dataintegration-group : 分组管理
dataintegration-project : 脚本管理
dataintegration-run : 数据集成运行模块
dataintegration-sso : sso单点登录模块
dataintegration-sys : 系统管理模块
dataintegration-model : 模型管理
dataintegration-file-management : 文件管理

 依次修改 application-local.yaml
 spring.cloud.consul.host: 192.168.10.160 ,ip改为启动的consul IP
 spring.cloud.consul.port: 8500 ,ip改为启动的consul 端口
 spring.datasource.url: jdbc:mysql://192.168.10.211:13306/ 修改启动的mysql url
 spring.datasource.username:  修改启动的mysql的账号
 spring.datasource.password:  修改启动的mysql的密码
 使用idea或者其他工具运行服务 dataintegration-**-provider

启动前端ui

终端进入 dataintegration-ui 目录

# install dependencies
npm install

# serve with hot reload at localhost:8080
npm run dev

访问前端页面：http://127.0.0.1:8081/dataintegration-ui/#/ 默认的用户是admin，默认的密码是Prime@2020

获得帮助

提交issue

版权

请参考 LICENSE 文件.

ochive/data-integration

架构

模块

功能特点

用户界面截图

近期研发计划

参与贡献

快速试用 Docker

如何构建

打包项目

启动前置环境

创建数据库

服务启动

修改配置

启动前端ui

获得帮助

版权