shell909090/influx-proxy

请教个数据失败方面的问题

Matc1013 opened this issue · 3 comments

Matc1013 commented

当某个节点宕机，那么失败的数据将会写入其对应的.dat文件中，并按照设置周期尝试重新写入。但我发现若宕机节点一直未上线，那么.dat文件将会逐渐增大，请问这是因为尝试写入引起的吗？

root@debian:/opt/go/src/github.com/shell909090/influx-proxy# ll db2.*
-rw-r--r-- 1 root root 4263 Oct 29 03:20 db2.dat
-rw-r--r-- 1 root root 8 Oct 29 03:16 db2.rec
root@debian:/opt/go/src/github.com/shell909090/influx-proxy# ll db2.*
-rw-r--r-- 1 root root 4445 Oct 29 03:20 db2.dat
-rw-r--r-- 1 root root 8 Oct 29 03:16 db2.rec
root@debian:/opt/go/src/github.com/shell909090/influx-proxy# ll db2.*
-rw-r--r-- 1 root root 8570 Oct 29 03:24 db2.dat
-rw-r--r-- 1 root root 8 Oct 29 03:16 db2.rec

有没有最大上限控制？若没有，会不会导致此dat文件占用磁盘越来越大？

chengshiwen commented

@Matc2018 .dat文件逐渐增大只会是proxy写influxdb写入失败的时候（如节点宕机、返回500错误等，但部分错误如400、404则不会将失败数据写入到.dat文件），所以您提到的问题，应该是有新数据写到proxy再转发写到宕机节点导致的，而不是周期性尝试写入到的。另外，没有最大上限控制，所以确实会导致dat文件越来越大

对一致性哈希方案的 influx-proxy，可以尝试: https://github.com/chengshiwen/influx-proxy

chengshiwen commented

写入.dat文件的数据是经过gzip压缩的，所磁盘占用相对原数据是要小一些的

Matc1013 commented

了解了，感谢！