/etl

ETL Tools 数据抽取-转换-加载工具

Primary LanguageJava

=====================================

ETL 工具包

=====================================

版本介绍: 版本:Version 1.0.0 日期:2016-02-01

主要功能: 1、数据抽取、转换、加载(ETL)核心功能; 1.1 数据抽取 1.1.1 数据库抽取。支持所有流行的关系型数据库(不包括:NOSQL 型数据库,例如:Mango、Hadoop等); 1.1.2 文本抽取。支持文件编码自定、分隔符自定、数据域自定; 1.1.3 Excel 抽取。支持 Excel 97-2003、Excel 2007、Excel 2010 版本; 1.1.4 XML 抽取。支持字符串、文件类 XML 数据; 1.2 数据转换 1.2.1 支持默认的常值、UUID、日期时间(校验)、键值对转换; 1.2.2 支持高度自定义数据转换。仅需实现转换接口即可; 1.3 数据加载 1.3.1 数据加载。支持所有流行的关系型数据库(不包括:NOSQL 型数据库,例如:Mango、Hadoop等); 1.3.2 文本加载。支持文件编码自定、分隔符自定、数据域自定; 1.3.3 Excel 加载。目前仅支持 Excel 97-2003 版本; 1.3.4 XML 加载。需要自定义加载模板;

2、数据库迁移 2.1 支持迁移时的多线程处理; 2.2 来源数据库 Sybase 目标数据库 Sybase。支持表(主键和表数据)、视图迁移(暂不支持索引、对象、方法、存储过程迁移); 2.3 来源数据库 任一 目标数据库 任一。支持表(主键和表数据)迁移;

3、相似度比对 3.1 支持键-值类型数据域比对; 3.2 支持大文件处理; 3.3 支持相似度自定; 3.4 支持相似度算法自定。默认为 JaroWinklerDistance 算法; 3.5 支持比对结果的自然分组。目前在处理上为单线程; 3.6 结合 ETL 工具包可以完成自定比对来源、转换规则以及加载目标;