syydhhd opened this issue 3 years ago · 2 comments
在进行模型的Bert实现的训练过程中，我使用的参数和学习率与默认参数一致，但是训练结果很差，模型对训练集的拟合程度甚至无法达到50%，请问是参数的问题吗，如果是，请问Bert模型的训练参数是怎样设置的呢？
请问解决了吗
之前的代码在is_bert=1时可能存在问题，论文投稿时代码有所更新。更新后的代码和训练超参数会在近两天内发布，请耐心等待:)