owenliang/qwen-vllm

后续是否会支持多个prompts一起送入model.generate()?

zzyzeyuan opened this issue · 0 comments

请问后续是否会实现多个prompts送入model.generate()? 以及如何进行padding?