lkluo opened this issue 6 years ago · 1 comments
分词的时候会将小数点单独成一个部分，这个不合理。
在处理分词的时候，将数字和字符强制分开了，防止一些特殊的问题出现，如果需要可以修改一下preprocess里面的处理~