/hbaseETL

Primary LanguageJava

启动数据导入工具
见 DataImportTest 和MsAccessTest

DataImportTest用于导入excel文件格式数据,并作简单处理
MsAccessTest用于导入access 文件格式数据,并作处理

配置文件说明:
hbase.xxx.xxx=hbase的配置项,根据hbase情况配置具体参数
habse.maxconn=5   //线程池大小,最大  (暂未使用)
habse.min=3       //线程池大小,最小(暂未使用)
target.dir=数据文件的路径,包括excel、mdb等数据,目前只支持mdb、xlsx,需要扩展的话,另写实现
ms.mdb.tables=mdb表名称,每个表;号分割,只会处理指定的表

新文件类型支持(参照已有的MsExcel.java 和MsAccess.java分别处理excel和access的文件数据)
1、实现 DbAccessor 接口 
2、实现AccessorOperation 接口 (具体的数据导入类,所有的数据导入在这里处理)
2、DbAccessorFactory 的方法(如下)中增加对于新文件类型支持
   public DbAccessor getAccessor(File file,HbaseClient hClient)
3、AccessorOpFactory的方法中增加处理类,如何通过反射和配置文件增加处理类,看AccessorOpFactory的构造方法的注释