z814081807/DeepNER

多卡为啥没用torch.nn.parallel.DistributedDataParallel(model)

673607154 opened this issue · 2 comments

请教一下,我看代码里面多卡用的是torch.nn.DataParallel(model, device_ids=gpu_ids),
为什么没有考虑使用torch.nn.parallel.DistributedDataParallel(model)

请教一下,我看代码里面多卡用的是torch.nn.DataParallel(model, device_ids=gpu_ids),
为什么没有考虑使用torch.nn.parallel.DistributedDataParallel(model)

也可以使用第二种,效率更高,我习惯用第一种了,双卡的话用起来比较方便简单
多卡训练可以参考:https://www.cnblogs.com/yh-blog/p/12877922.html 进行优化

请教一下,我看代码里面多卡用的是torch.nn.DataParallel(model, device_ids=gpu_ids),
为什么没有考虑使用torch.nn.parallel.DistributedDataParallel(model)

也可以使用第二种,效率更高,我习惯用第一种了,双卡的话用起来比较方便简单
多卡训练可以参考:https://www.cnblogs.com/yh-blog/p/12877922.html 进行优化

好的,谢谢