开源的只是llva请问什么时候可以开源qwen的Demo呢
Closed this issue · 3 comments
Cristhine commented
希望可以开源qwen的用法
chenllliang commented
目前正在将FastV集成到Transformers的generate函数里,届时会支持不同vllm,stay tuned!
lzy37ld commented
@chenllliang 请问为什么是利用attention score而不是saliency score in (https://arxiv.org/pdf/2305.14160.pdf)
chenllliang commented
saliency score需要反向传播求导才能计算,fastv是在前向传播过程中就进行的token裁剪。