thu-coai/CDial-GPT

请问，fine tuning 的时候，学习率调整为多少比较合适？谢谢

wulaoshi opened this issue · 1 comments

wulaoshi commented
请问，fine tuning 的时候，学习率调整为多少比较合适？谢谢
lemon234071 commented

我们论文中实验选择从6.25e-5线性递减至0， 更合适的学习率可适当调参得到。