汉语中有做分词吗?还是直接在字级别做了
MrCuri0sity opened this issue · 2 comments
MrCuri0sity commented
汉语中有做分词吗?还是直接在字级别做了
NLPScott commented
这个不做分词,投入预训练transformer后,会进行切词,切词的依据是谷歌bert提供的词表
JepsonWong commented
汉语预训练模型作者是在字级别做的,不是词级别。
MrCuri0sity opened this issue · 2 comments
这个不做分词,投入预训练transformer后,会进行切词,切词的依据是谷歌bert提供的词表
汉语预训练模型作者是在字级别做的,不是词级别。