Opened this issue a year ago · 1 comments
比如将\n处理为<n>
个人认为这不是一个tokenizer该做的事情，tokenizer的作用就是对原始字节串进行切分，这种特殊需求可以自行包装一层。