多卡为啥没用torch.nn.parallel.DistributedDataParallel(model)
673607154 opened this issue · 2 comments
673607154 commented
请教一下,我看代码里面多卡用的是torch.nn.DataParallel(model, device_ids=gpu_ids),
为什么没有考虑使用torch.nn.parallel.DistributedDataParallel(model)
z814081807 commented
请教一下,我看代码里面多卡用的是torch.nn.DataParallel(model, device_ids=gpu_ids),
为什么没有考虑使用torch.nn.parallel.DistributedDataParallel(model)
也可以使用第二种,效率更高,我习惯用第一种了,双卡的话用起来比较方便简单
多卡训练可以参考:https://www.cnblogs.com/yh-blog/p/12877922.html 进行优化
673607154 commented
请教一下,我看代码里面多卡用的是torch.nn.DataParallel(model, device_ids=gpu_ids),
为什么没有考虑使用torch.nn.parallel.DistributedDataParallel(model)也可以使用第二种,效率更高,我习惯用第一种了,双卡的话用起来比较方便简单
多卡训练可以参考:https://www.cnblogs.com/yh-blog/p/12877922.html 进行优化
好的,谢谢