您好，请问load_model无论是eval还是从某个模型重新训练的时候会提示Id not found in vocab: 40001

Question

DarsonKing opened this issue 3 years ago · 14 comments

就是找不到40001 40002 400xx 这种的vocab，怎么解决呢，是自己生成一个新的词表就行是吗

Answer 1 · 2021-09-05T02:25:13.000Z

请问是用的链接分享的词表么

Answer 2 · 2021-09-07T11:41:01.000Z

请问是用的链接分享的词表么

是的

Answer 3 · 2021-09-07T12:19:29.000Z

萌新想问一下，这个是对数据预处理的时候，按词频分配的id，然后写入词表是吧。我服务器断一次之后，无论我load以往的哪一个模型，都提示vocab找不到40001-40010之间的id

Answer 4 · 2021-09-09T06:31:49.000Z

您好，分享的词表是有50000个的

Answer 5 · 2021-09-10T01:51:42.000Z

同样出现这个问题，超参vocab_size设置50000，同样也会出现50001、50002等等id找不到

Answer 6 · 2021-12-08T03:21:39.000Z

我仔细看了下ooV的代码，这是遇到未登录词时的正常提示，如果没有报outputids2words中的error就是没有报错