yugong: A Java repository from bu1bu2

背景

2008年，阿里巴巴开始尝试使用 MySQL 支撑其业务，开发了围绕 MySQL 相关的中间件和工具，Cobar/TDDL(目前为阿里云DRDS产品)，解决了单机 Oracle 无法满足的扩展性问题，当时也掀起一股去IOE项目的浪潮，愚公这项目因此而诞生，其要解决的目标就是帮助用户完成从 Oracle 数据迁移到 MySQL 上，完成去 IOE 的重要一步工作。

项目介绍

名称: yugong

译意: 愚公移山

语言: 纯java开发

定位: 数据库迁移 (目前主要支持oracle / mysql / DRDS)

项目介绍

整个数据迁移过程，分为两部分：

全量迁移
增量迁移

过程描述：

增量数据收集 (创建oracle表的增量物化视图)
进行全量复制
进行增量复制 (可并行进行数据校验)
原库停写，切到新库

架构

{width="584" height="206"}

说明:

一个Jvm Container对应多个instance，每个instance对应于一张表的迁移任务
instance分为三部分 a. extractor (从源数据库上提取数据，可分为全量/增量实现) b. translator (将源库上的数据按照目标库的需求进行自定义转化) c. applier (将数据更新到目标库，可分为全量/增量/对比的实现)