zc911/MatrixSlow

关于ringallreduce rpc的一个疑问

yangshao opened this issue 3 years ago · 1 comments

yangshao commented 3 years ago

你好，关于allreduce的rpc https://github.com/zackchen/MatrixSlow/blob/9c400dd97e1a776a9632a8ed3b9f6b7cf0585c94/matrixslow/trainer/dist_trainer.py#L155
和
https://github.com/zackchen/MatrixSlow/blob/9c400dd97e1a776a9632a8ed3b9f6b7cf0585c94/matrixslow/trainer/dist_trainer.py#L158
这两行的顺序重要么？L155会不会一直block？

zc911 commented 2 years ago

两行顺序不重要
L155在实际场景下，因为各种因素有可能block。这也是工业级深度学习框架会去解决的问题。