yuanzhongqiao/dozer

Dozer 是一种实时数据移动工具，它利用来自各种来源的 CDC 并将数据移动到各种接收器中。Dozer is a real-time data movement tool that leverages CDC from various sources and moves data into various sinks.

概述

Dozer 是一种实时数据移动工具，利用 CDC 从各种来源到多个接收器。

Dozer 比 Debezium+Kafka 快几个世纪，并且原生支持无状态转换。 主要用于将数据移动到仓库中。在我们自己的应用程序中，我们将数据移动到 Clickhouse 并构建数据 API 并与 LLM 集成。

如何使用

Dozer 使用单个配置文件运行，如下所示：

app_name: dozer-bench
version: 1
connections:
  - name: pg_1
    config: !Postgres
      user: user
      password: postgres
      host: localhost
      port: 5432
      database: customers
sinks:
  - name: customers
    config: !Dummy
      table_name: customers

可在此处找到完整文档

支持的源

连接器	萃取	恢复	企业
Postgres	✅	✅	✅
MySQL （MySQL的	✅	✅	✅
雪花	✅	✅	✅
卡 夫 卡	✅	🚧	✅
MongoDB 数据库	✅	🎯	✅
亚马逊 S3	✅	🎯	✅
Google 云存储	✅	🎯	✅
**神谕	✅	✅	仅限企业
**Aerospike	✅	✅	仅限企业

支持的 Sink

数据库	连接	企业
点击屋	✅
Postgres	✅
MySQL （MySQL的	✅
大查询	✅
神谕	✅	仅限企业
飞钉	✅	仅限企业