Issues
- 2
可以在QWen-72b-Chat Int4上跑吗
#41 opened - 4
AWQ现在还不支持张量并行吗?tp_size=4,不成功
#40 opened - 7
长序列(>2048)出现output为空
#39 opened - 1
有支持llava转换的计划吗
#38 opened - 1
支持Qwen-14b吗?
#37 opened - 1
Question: 关于 gptq 和 awq 某个 bug fix 的效果
#36 opened - 0
如何使用qwen/run.py批量获取到一批query的模型output?
#35 opened - 10
- 3
请问如何支持 qwen-14b-chat-int4
#33 opened - 16
关于TensorRT-LLM接入LangChain
#32 opened - 1
关于TensorRT-LLM接入LangChain
#31 opened - 1
显存占用
#30 opened - 3
咨询个关于中间产物的问题
#29 opened - 12
2080ti (22g) 执行int4 gptq转换报错
#28 opened - 3
部署api和尝试网页对话出现的bug
#27 opened - 4
- 2
14B-4bit对应的web-demo.py的奇怪bug,重复输出。
#24 opened - 4
3090上qwen-14b-4bit转换失败
#23 opened - 8
Got slower speed using smooth quant
#22 opened - 4
能支持qwen-vl吗?
#21 opened - 3
Support int4 gptq and awq quantization?
#20 opened - 0
配套视频(免费|连载中)
#19 opened - 13
qwen14bchat int4转换后输出异常
#18 opened - 2
- 5
- 13
能导出镜像吗?
#14 opened - 2
关于paged_kv_cache的疑问?
#13 opened - 20
请问支持In-flight Batching吗?
#12 opened - 1
请问有人跑通过14B么?
#11 opened - 4
目前qwen不支持张量并行?
#10 opened - 7
启动build时调用了Hugging face了吗?
#9 opened - 6
测试问题
#7 opened - 10
镜像编译失败:
#6 opened - 1
大佬,为啥官方支持模型列表里面没有qwen呀
#5 opened - 1
编译安装镜像时候,报错。
#4 opened - 1
- 0
TRT_LLM web_demo演示
#2 opened - 1
大佬,有个关于镜像的问题想要请教
#1 opened