taishan1994/OneRel_chinese

token后面都添加一个空格

Closed this issue · 0 comments

TheHonestBob commented

请问一下，在HBTokenizer处理时，每个字符后面加[unused1]的作用是什么呢，没有看明白