ssbuild/moss_finetuning

微调显存

ddzz0210 opened this issue · 2 comments

想问一下,用ptv2微调int4模型要多少显存呀,作者大大试过吗?

试出来了,6.8B训练参数,64G够了

tjulh commented

ptv2微调fp16大概需要多少,楼主有试过吗