PlayVoice/vits_chinese

支持多卡训练吗？

Closed this issue · 5 comments

scriptboy1990 commented

比如10张1080，如果支持的话，需要改哪里代码么。

MaxMax2016 commented

支持，需要把学习率适当增大，多卡的时候 batch_size 实际为 卡数 * batch_size

scriptboy1990 commented

支持，需要把学习率适当增大，多卡的时候 batch_size 实际为 卡数 * batch_size

在单块卡的情况下，我设置的batch_size为8
在n块卡的情况下，我设置batch_size为8 * n，但是运行的时候报CUDA out off memory，我重新设置为8，几张卡可以跑了。
但是我不确定不改batch_size的情况下，每张卡是不是都是跑的8个batchsize。😳

MaxMax2016 commented

不改batch_size的情况下，每张卡都是跑的8个batchsize

  • ❤️1
scriptboy1990 commented

不改batch_size的情况下，每张卡都是跑的8个batchsize

明白了。学习率有推荐的设置么，大概适当增大多少，六张卡。

MaxMax2016 commented

"learning_rate": 1e-4 -> "learning_rate": 2e-4