Devin-Pi opened this issue 2 years ago · 0 comments
up主你好！ 感谢您分享的工作！ 有一个问题想跟您讨论下，我看您的代码里面可以采用DDP模式进行训练，但是我看你在评估的时候没有用到dist.all_gather(tensor_list, tensor)等相关代码通过DDP的方式进行评估，想问下只用local_rank==0的最终权重来进行评估和通过DDP的方式进行评估，两者是一样的是吗？ 谢谢