deepseek-ai/DeepSeek-LLM

关于vllm使用的疑问

xuyifan-0731 opened this issue · 1 comments

xuyifan-0731 commented

你好！在使用官方提供的vllm代码的时候，我有一个问题：
prompts = [tokenizer.apply_chat_template(messages, add_generation_prompt=True, tokenize=False) for messages in messages_list]
这一步操作之后，实际的生成结果是一个字符串序列。但是诸如<｜begin▁of▁sentence｜>等其实应该是作为special token拼接的。请问这样使用是否是正确的？

luofuli commented

你好！在使用官方提供的vllm代码的时候，我有一个问题： prompts = [tokenizer.apply_chat_template(messages, add_generation_prompt=True, tokenize=False) for messages in messages_list] 这一步操作之后，实际的生成结果是一个字符串序列。但是诸如<｜begin▁of▁sentence｜>等其实应该是作为special token拼接的。请问这样使用是否是正确的？

Thanks for pointing out this bug. We've already fixed it.
ebec08a