Doragd/Chinese-Chatbot-PyTorch-Implementation

关于训练时出现的NaN问题

super233 opened this issue · 3 comments

大佬您好,我再使用您的代码训练qingyun数据时,出现Encoder的输出全部为nan,进而导致loss为nan,请问您当时遇到过这种情况吗?

遇到相同的问题,发现只要训练到2000次以上就会出现,请问大佬当时是如何解决的?

我当时把 decoder_learning_ratio设为1.0 后,训练起来就还不错

image-20191223091056754

image-20191223091220405