vocabs是包含语料库里面的所有单词吧??如果不是呢,那么如何处理解码时的unk字符呢
FanWan opened this issue · 2 comments
FanWan commented
跪求解答...
MambaMelon commented
一般是构造单词词典时加入特殊字符id
wb14123 commented
是的,会使用一个特殊ID对应不在词典中的单词。
FanWan opened this issue · 2 comments
跪求解答...
一般是构造单词词典时加入特殊字符id
是的,会使用一个特殊ID对应不在词典中的单词。