LecterF opened this issue 4 months ago · 2 comments
Hi, 作者您好，我在用您的train.py 代码微调模型，预先load了您训练好的的4.18模型，想请问您后续训练的learning rate 怎么设置
让我拍脑袋想的话，warmup 后维持 1e-5
感谢大佬