GPU memory

[foralliance]

@XiaXuehai

batch_size=32，image_size=1024．
这么大的batch_size+image_size，却只占了很小一部分显存，仅仅就因为网络模型很小吗？还是有什么其他原因？？

[XiaXuehai]

1024 * 1024 * 3 * 4 * 32= 384 MB，我这边debug到img.cuda()显示显存占了700多M，训练时占了3.7G. 我也不太懂cuda训练那部分显存是这么使用的。。

[foralliance]

跟你差不多．看来优化网络结构确实可以弥补大的batch_size+image_size带来的不足

[xungeer29]

为什么对CPU和内存的占用非常高啊，batch_size=32时我CPU就使用98%了，16G内存使用93%左右，但是显存仅占用4G不到，是因为数据预处理部分吗？