训练tiny问题
Opened this issue · 3 comments
limitedfxw commented
你好,训练tiny时,如果冻结llm有尝试过吗,效果怎么样,还有就是代码里面冻结llm时为什么不包括get_input_embeddings?
Ucas-HaoranWei commented
冻结LLM肯定不work,冻住llm,图像的256个token会映射成text-like的256token,256个text token能编码极少文字,至少一页得很稀疏才行
limitedfxw commented
代码里面冻结llm的逻辑为什么不包括get_input_embeddings,这个是有啥考虑吗
Ucas-HaoranWei commented
无特殊考虑~,freeze llm最后没用到