LianjiaTech/BELLE

后面有计划开源finetuning的代码吗,以及会尝试LoRA吗

TccccD opened this issue · 8 comments

后面有计划开源finetuning的代码吗,以及会尝试LoRA吗

我们正在整理代码,后续会开源。目前很多开源的finetune decoder-only模型的代码就可以用于finetune我们的模型,如果你急着训练,可以先用这些代码,同时把其中的checkpoint替换成我们的开源模型即可。

我们目前没有尝试LoRA的计划。

lora的我跑过,不是很行,模型一大,loss就急剧变为0,eval loss是nan满全场

我们正在整理代码,后续会开源。目前很多开源的finetune decoder-only模型的代码就可以用于finetune我们的模型,如果你急着训练,可以先用这些代码,同时把其中的checkpoint替换成我们的开源模型即可。

我们目前没有尝试LoRA的计划。

感谢回复!想问下训练bloom7B用了多少卡

@TccccD 我自己复现了stanford的训练,4*A100 1个半小时

@TccccD 我自己复现了stanford的训练,4*A100 1个半小时

是指用stanford的训练方式训练Bloom7B吗,还是LLaMA

@TccccD 我自己复现了stanford的训练,4*A100 1个半小时

是指用stanford的训练方式训练Bloom7B吗,还是LLaMA

是5万条英文prompt数据那个吧?这个还是有可能的

feizc commented

Hi, 感谢作者对于数据和模型的开源。

全模型微调和lora脚本可以参考: https://github.com/feizc/MLE-LLaMA