zjukg/KnowPAT

train.py需要多大内存?

wmm228 opened this issue · 2 comments

wmm228 commented

我用的llama2-7b-hf，服务器用的48GB显存的A40，微调数据集只用了5条数据，为啥就爆显存了？lora方法微调llama2-7b不是不需要那么多显存吗？

Zhang-Each commented

对齐的训练需要的显存更大，一般来说至少需要80G

wmm228 commented

好的多谢