apache/rocketmq-streams

Whether RocketMQ streams consider retaining only RocketMQ source/sink ?

sunxiaojian opened this issue · 3 comments

sunxiaojian commented

RocketMQ streams 会考虑只保留 rocketmq 的source 和sink , 将其它连接器交给 connect 来做吗 ?

  1. 不同源的 connector 扩展本身也有一定的开发量和大量的成本，两边同时扩展也会存在一些重复
  2. streams 本身也可以通过 topic queue 的调节来提高stream并发的数量
ni-ze commented

@sunxiaojian 堂老师你好，streams目前暂时会保留其他类型的source和sink，社区里对直接从第三数据源获取数据有需求的。不过后续重点会逐步放到rocketmq的source/sink上，某些功能，比如精确一次、分区动态发现，只有结合rocketmq才能做的更好。

sunxiaojian commented

@sunxiaojian 堂老师你好，streams目前暂时会保留其他类型的source和sink，社区里对直接从第三数据源获取数据有需求的。不过后续重点会逐步放到rocketmq的source/sink上，某些功能，比如精确一次、分区动态发现，只有结合rocketmq才能做的更好。

嗯，不光是source的问题， 包括checkpoint ，如果不是 compact topic 模式 的也无法达到弹性扩容

ni-ze commented

@sunxiaojian 堂老师你好，streams目前暂时会保留其他类型的source和sink，社区里对直接从第三数据源获取数据有需求的。不过后续重点会逐步放到rocketmq的source/sink上，某些功能，比如精确一次、分区动态发现，只有结合rocketmq才能做的更好。

嗯，不光是source的问题， 包括checkpoint ，如果不是 compact topic 模式 的也无法达到弹性扩容

是的，需要compact topic才能达到状态在不同实例间迁移的效果。