每天凌晨增量备份到hive/hbase
Opened this issue · 2 comments
gouchaoer commented
由于是增量备份所以每天备份一次就ok了，现在是用php脚本去查询数据库然后插入hive的，能通过binlog做么，不需要实时
jilieryuyi commented
可以的，自行使用php解析binlog，得到对应的数据，wing-binlog就是这么实现的，可以用wing-binlog去实现，现在wing-binlog优化的性能很好了，可以试试！ 只需要实现一个订阅者就行了
jilieryuyi commented
另外我平时测试100万级别的数据变更，监控丢失率为0，稳定性也很好了