qicosmos/rest_rpc

请问该工具最大支持传输 多大的数据?

qzp-user opened this issue · 8 comments

我修改了程序中的数据大小和超时限制,但是当我的传输数据大于2G时,程序会挂掉。请问我需要修改哪里,才能传输大规模的数据。

可以传输任意大小的数据,不要一次传太大的数据,很大的数据你分块传输就行了,不论多大分块就行了。

可以传输任意大小的数据,不要一次传太大的数据,很大的数据你分块传输就行了,不论多大分块就行了。

目前我能不能修改某些地方的代码,能够传递10G的vector数据。分块也可以 但总感觉不太好的样子

肯定是要分块上传的,最好分成每次传多少K的数据,不应该分配那么大的内存去传的。

肯定是要分块上传的,最好分成每次传多少K的数据,不应该分配那么大的内存去传的。

分成小的效率高吗,我目前用于分布式聚类,会传递大量的向量 ,不是一次传的越多效率越高吗

一样的,取决于带宽,带宽都能跑满,外面设置大了也不会更快。

肯定是要分块上传的,最好分成每次传多少K的数据,不应该分配那么大的内存

一样的,取决于带宽,带宽都能跑满,外面设置大了也不会更快。

大概超过多少数据 ,rpc会挂掉?我按照这个分块传递吧,谢谢啦!

一样的,取决于带宽,带宽都能跑满,外面设置大了也不会更快。

一次传递500M应该不会触发问题吧?

一次传2M就够了,分配太大了也没啥用,操作系统内部还是分块上传的。