开源的只是llva请问什么时候可以开源qwen的Demo呢

[Cristhine]

希望可以开源qwen的用法

[chenllliang]

目前正在将FastV集成到Transformers的generate函数里，届时会支持不同vllm，stay tuned!

[lzy37ld]

@chenllliang 请问为什么是利用attention score而不是saliency score in (https://arxiv.org/pdf/2305.14160.pdf)

[chenllliang]

saliency score需要反向传播求导才能计算，fastv是在前向传播过程中就进行的token裁剪。