Tlntin/Qwen-TensorRT-LLM

能支持qwen-vl吗？

Closed this issue · 4 comments

tms2003 commented

多模态才是未来啊。能支持否？

Tlntin commented

暂时无相关计划

jkl375 commented

多模态才是未来啊。能支持否？
可以把文本模型和视觉模型分别转出来，然后拼起来

zhaohb commented

最新消息说nv已经在支持qwen-vl了，就看什么时候release了

zhaohb commented

已经支持了，目前visul支持fp16， llm模型支持fp16、weight only int8/int4，可以测试下

  • 👍1