owenliang/qwen-vllm

请问是否支持Qwen1.5系列模型（不同量化方式 / 非量化）

tomFoxxxx opened this issue · 6 comments

tomFoxxxx commented
请问是否支持Qwen1.5系列模型（不同量化方式 / 非量化）
lzh1998-jansen commented

这个应该看 vllm是支持，vllm 支持，这个仓库就支持

  • 👍1
tomFoxxxx commented

这个应该看 vllm是支持，vllm 支持，这个仓库就支持

好的 您这边有尝试嘛

tomFoxxxx commented

这个应该看 vllm是支持，vllm 支持，这个仓库就支持

官方文档提到vllm 0.3.0以上是支持的

nlp-learner commented

热插拔的lora加载如何实现，我看VLLM在加载lora时会有词表大小限制？

lzh1998-jansen commented

这个应该看 vllm是支持，vllm 支持，这个仓库就支持

官方文档提到vllm 0.3.0以上是支持的

ok的

smalldeer1982 commented

我切换到qwen1.5之后，提示报错了，自己改了下，发现推理能力变差了，大神是否可以做一个适配的版本谢谢