lich99/ChatGLM-finetune-LoRA

LoRA训练时间大概是多久呢？

Opened this issue · 3 comments

realcarlos commented

LoRA训练时间大概是多久呢？

lich99 commented

V100 1s大概6-7个steps. 所以如果跑50k steps大概2.3h

  • 👍1
realcarlos commented

还有个疑问，得到LORA权重后，使用的时候是要与原权重做一个合并吗？还是可以分开存放？
另外，如果权重合并后，权重文件大小是否会变化，还是保持不变，只是参数变了？

lich99 commented

相当于补丁, 是额外的权重, 可以分开存放.