训练不稳定的问题
caihaunqai opened this issue · 0 comments
caihaunqai commented
您好,我使用四块V100进行训练,只用了28的batch_size,训练过程中在开始或其他时候显存会突然增大,增加的话会爆显存,所以无法增加。但是实际的占用显存只有不到1/3。您知道如何解决吗?谢谢!
caihaunqai opened this issue · 0 comments
您好,我使用四块V100进行训练,只用了28的batch_size,训练过程中在开始或其他时候显存会突然增大,增加的话会爆显存,所以无法增加。但是实际的占用显存只有不到1/3。您知道如何解决吗?谢谢!