cauyxy/bilivideos

LLAMA 中文乱码

snowkcon opened this issue · 1 comments

snowkcon commented

这个有办法解决吗？+1
例如：LLAMA

 我 <0xE5> <0x88> <0x9A> <0xE5> <0x88> <0x9A>

希望可以做个 多个 token 映射 汉字 时候，可以加权求和

cauyxy commented

好滴，周末有空可以研究一下