caixun99 opened this issue 10 months ago · 0 comments
在用huggingface加载ziya的BLIP2时，想用多卡推理，于是加了device_map="auto"，成功多卡加载模型。但是用model.chat推理时出现中间残差层hidden_states=hidden_states+residual的两个向量设备不一致的问题，应该如何解决呢