NLPScott/bert-Chinese-classification-task

汉语中有做分词吗？还是直接在字级别做了

MrCuri0sity opened this issue · 2 comments

MrCuri0sity commented
汉语中有做分词吗？还是直接在字级别做了
NLPScott commented

这个不做分词，投入预训练transformer后，会进行切词，切词的依据是谷歌bert提供的词表

JepsonWong commented

汉语预训练模型作者是在字级别做的，不是词级别。