LLM Tokenizer with BPE algorithm
Primary LanguagePython
大模型要输入token，那么如何把文本转成token呢？ BPE算法就是用来解决这个问题的。