/search-index-system

Index system base on kafka connect

Primary LanguageJavaMIT LicenseMIT

index system base on kafka connect

使用前必看

项目能够运行的前提条件:

  1. kafka版本1.0.0;
  2. kafka topic数据需要来自debezium，简单的理解: 强依赖debezium;

文档

文档地址

特点

  1. 基于kafka connect，天然支持高可用。
  2. kafka connect完备的commit处理。
  3. 支持数据库反查，聚合数据。
  4. 支持写入solr，开发者也可以实现自己的写入端。
  5. 支持设置task个数，并行处理（并行个数与kafka topic partition个数相关）。

TODO

  • Executor每条sql支持不同的dataSource。
  • 支持写入ES。
  • 支持写入Mysql。
  • 单元测试覆盖。

Any Problem

email: sweatott@gmail.com

其它

欢迎各位PR. To be better