LianjiaTech/BELLE

后面有计划开源finetuning的代码吗，以及会尝试LoRA吗

TccccD opened this issue · 8 comments

TccccD commented
后面有计划开源finetuning的代码吗，以及会尝试LoRA吗
Life-0-1 commented

我们正在整理代码，后续会开源。目前很多开源的finetune decoder-only模型的代码就可以用于finetune我们的模型，如果你急着训练，可以先用这些代码，同时把其中的checkpoint替换成我们的开源模型即可。

我们目前没有尝试LoRA的计划。

  • 👍5
ScottishFold007 commented

lora的我跑过，不是很行，模型一大，loss就急剧变为0，eval loss是nan满全场

TccccD commented

我们正在整理代码，后续会开源。目前很多开源的finetune decoder-only模型的代码就可以用于finetune我们的模型，如果你急着训练，可以先用这些代码，同时把其中的checkpoint替换成我们的开源模型即可。

我们目前没有尝试LoRA的计划。

感谢回复！想问下训练bloom7B用了多少卡

BowieHsu commented

@TccccD 我自己复现了stanford的训练，4*A100 1个半小时

TccccD commented

@TccccD 我自己复现了stanford的训练，4*A100 1个半小时

是指用stanford的训练方式训练Bloom7B吗，还是LLaMA

ScottishFold007 commented

@TccccD 我自己复现了stanford的训练，4*A100 1个半小时

是指用stanford的训练方式训练Bloom7B吗，还是LLaMA

是5万条英文prompt数据那个吧？这个还是有可能的

feizc commented

Hi, 感谢作者对于数据和模型的开源。

全模型微调和lora脚本可以参考： https://github.com/feizc/MLE-LLaMA

  • 👍4