owenliang/qwen-vllm

流式处理如何实现批量推理？

Simple6K opened this issue · 0 comments

Simple6K commented

当前无法进行流式的批量推理，是否有可参考方案？