请问该工具最大支持传输 多大的数据?
qzp-user opened this issue · 8 comments
qzp-user commented
我修改了程序中的数据大小和超时限制,但是当我的传输数据大于2G时,程序会挂掉。请问我需要修改哪里,才能传输大规模的数据。
qicosmos commented
可以传输任意大小的数据,不要一次传太大的数据,很大的数据你分块传输就行了,不论多大分块就行了。
qzp-user commented
可以传输任意大小的数据,不要一次传太大的数据,很大的数据你分块传输就行了,不论多大分块就行了。
目前我能不能修改某些地方的代码,能够传递10G的vector数据。分块也可以 但总感觉不太好的样子
qicosmos commented
肯定是要分块上传的,最好分成每次传多少K的数据,不应该分配那么大的内存去传的。
qzp-user commented
肯定是要分块上传的,最好分成每次传多少K的数据,不应该分配那么大的内存去传的。
分成小的效率高吗,我目前用于分布式聚类,会传递大量的向量 ,不是一次传的越多效率越高吗
qicosmos commented
一样的,取决于带宽,带宽都能跑满,外面设置大了也不会更快。
qzp-user commented
肯定是要分块上传的,最好分成每次传多少K的数据,不应该分配那么大的内存
一样的,取决于带宽,带宽都能跑满,外面设置大了也不会更快。
大概超过多少数据 ,rpc会挂掉?我按照这个分块传递吧,谢谢啦!
qzp-user commented
一样的,取决于带宽,带宽都能跑满,外面设置大了也不会更快。
一次传递500M应该不会触发问题吧?
qicosmos commented
一次传2M就够了,分配太大了也没啥用,操作系统内部还是分块上传的。