DAMO-NLP-SG/Video-LLaMA

llm在两个阶段都是keep frozen吗？

Opened this issue · 1 comments

King-king424 commented
llm在两个阶段都是keep frozen吗？
lixin4ever commented

是的 准确的说除了Q-former部分是learnable的，VideoLLaMA的其他组件在pretrain和sft阶段都是frozen的，但是我们在VideoLLaMA 2里面调整了训练策略，LLM部分在SFT阶段是更新的