zhengli97/PromptKD

关于多卡训练

Closed this issue · 3 comments

请问该repo是否支持多卡训练,作者是否尝试过多卡训练,对性能会不会有影响

支持的。没有试过多卡,因为我这里一张卡就可以跑起来了。对性能的影响未知。

目前支持的是nn.DataParallel的,distributed data parallel的情况还不支持

HiHi 还有什么问题吗 没有问题我就关闭issue了哈 有问题就继续在这个issue下面提 看到了我会回复的