openmedlab/PULSE

tokenizer是否是BloomTokenizerFast

MelodyChenjun opened this issue · 1 comments

MelodyChenjun commented

在加载tokenizer的时候，报错autotokenizer没有BloomTokenizer，是否需要在tokenizer_config.json中修改成BloomTokenizerFast

genggui001 commented

NB 感谢指正 已经更新