PaddlePaddle/PaddleMIX

PaddleMix 怎么更改 多模态模型的Vision encoder呢？

ApolloRay opened this issue · 1 comments

ApolloRay commented

而且权重写在一个pdparams里，无法单独替换视觉编码器或者LM decoder部分的权重。另外貌似生态支持的vision encoder不太多？

jerrywgz commented

感谢反馈，目前多模态模型支持的vision encoder数量比较少，另外替换不同vision encoder和LLM部分权重现在还只有BLIP2支持 会持续加强