BlinkDL/RWKV-LM

lora训练时出错

surviveMiao opened this issue · 3 comments

surviveMiao commented

我运行RWKV-v4neo下的train.py文件，但是它启动不起来，自己断 还没反应
显示的界面
QJ45B5LV2FFD J925`CSR2W
1~AG7EWS_}E{_N0RTEXXCYE
自己的参数设置如图：
_R~}$7SI1$)GTY9)(2VPWS
头秃哇。。。

BlinkDL commented

可能是内存不足

surviveMiao commented

对的对的，是内存不足的原因。 没想到微调7b模型 128的内存都不够用。

surviveMiao commented

可能是内存不足

感谢您的回复，谢谢