Morizeyao/GPT2-Chinese

生成文字中老是出来一个符号[UNK],啥原因啊

cricketshen opened this issue · 4 comments

cricketshen commented

生成文字中老是出来一个符号[UNK],啥原因啊

Dragon-GCS commented

[UNK]是不在字典里的字符，可能你训练的时候太多字不在字典里了

bibibi-bug commented

我也差不多这样,但我看了下词库里面是存在的

xruifan commented

原因在這裡, 如果無法解決可以嘗試在生成文本時把[UNK] token的logits設為-float('Inf')

cywjava commented

词表里没有你这个词，就会用UNK代替。