PaddlePaddle/PaddleMIX

sft训练需要合并权重吗？

258863 opened this issue · 1 comments

258863 commented
sft训练需要合并权重吗？
jerrywgz commented

是不需要的，例如llava sft训练vision encoder部分参数不更新，训练时不会保存vision encoder部分，而推理阶段会自动加载这部分参数