csuhan/s2anet

关于初始学习率的设置

Opened this issue · 0 comments

shelp12138 commented

您好，请问根据GPU数目设置lr的意思是：例如使用2块GPU训练，optimizer的初始lr应该设置为0.5吗？为什么要这么做呢？据我所知lr并不会随GPU数量分配呀。这里比较困惑，期待您的解答