CUDA Of Memory
pengweiweiwei opened this issue · 11 comments
你好，想请问下跑12G的模型，不支持多GPU么？
我执行了这个指令python3 tools/train_net.py --cfg ./configs/config_car_12g.py --savemodel ./outputs/MODEL_dsgn_v1 -btrain 8 -d 0-7，然后还是出现了
RuntimeError: CUDA out of memory. Tried to allocate 674.00 MiB (GPU 0; 11.78 GiB total capacity; 9.14 GiB already allocated; 665.69 MiB free; 892.32 MiB cached)
我用的显卡是TITAN V的。
期待您的解答，谢谢！
--multiprocessing你跑的时候有加吗？另外你可以试下单卡 --debug 的时候是否能够顺利跑起来？
--multiprocessing加了也会报错，另外跑单卡也会出现同样的问题，加了--debug 也不行
还有想请问下PSMNet应该也是用了3D卷积，为什么那个代码在12G显存上可以跑起来呢，有没有什么有效的方法可以改进呢？
是的，之前因为3D volume占用显存较大，所以我把很多3D conv缩减后能够大量地降低显存使用。比较奇怪你那边显存还是超了。我建议你可以试着把volume 的 range减小一下，主要是BEV (X/Y)的面积减小进一步减小显存看下。如果有问题可以用--debug调试下
好的，谢谢
你好，想请教一个问题，在深度网络训练部分，根据lidar生成深度图的过程中，将lidar投影到图像上，是不是无法保证每个像素都有对应的深度ground truth呢，想请问下这部分是怎么处理的，投影得到的深度值结果可以直接用于模型的训练么？
是的，投影后直接用cost volume去估计深度就行。只有有深度的pixel做loss，否则就ignore。
好的，谢谢解答
你好，我和你遇到了一样的问题，我想请教一下关于12g多gpu依旧报outofmemory这个问题你解决了吗
你好，我能问一下./configs/default/config_car.py是多少G显存的模型，我12G的GPU适合跑哪个模型
你好问一下，最后oom的问题解决了吗