/canal

阿里巴巴 MySQL binlog 增量订阅&消费组件

Primary LanguageJavaApache License 2.0Apache-2.0

修改了1.1.4版本,请切换1.1.4分支

背景

公司使用canal做数据到rocketmq上,多次发生了故障,排查后发现是数据变更有4M的大字段,rocketmq接收堵塞了,导致全栈数据同步迟缓。

官方在1.1.4提供了canal.instance.filter.black.field来过滤掉字段,但是我们不知道哪个库哪个表会突然被插入大字段,可能是测试小伙伴的随机测试。。。

变更

添加字段的长度限制,超过截取,增加报警功能,遇到超过阈值的情况发送警告到运维群,及时提醒小伙伴不好顽皮~