PaddlePaddle/PaddleNLP

[Question]: 是否有脱离paddle和paddlenlp的分词库?

cqray1990 opened this issue · 1 comments

请提出你的问题

我将模型转成onnx,用onnxruntime运行,但是不想调用AutoTokenizer 比如ErnieTokenizer 分词,因为调用的话需要安装paddle 和paddlenlp,是否其他分词替代?

可以自己写一个,另外,欢迎开发者贡献