zyds/transformers-code

断点续传问题

Peg-Wu opened this issue · 1 comments

image

请问为什么在150个step保存模型,显示160个step的loss是0.714
但是从150个step续训练的时候,显示160个step的loss是0.7016

我在自己的实验过程中也遇到了这个问题,或许是续训后主进程拿到的数据和之前不一样了?
如果是这样,我该如何固定这个随机过程?

期待您的回复~

创建dataloader时取消shuffle参数,这个问题可以得到解决