XuRui314/GLM4v-Finetune

请问内存要求是多大呢？8卡，每张卡40G能训起来么？

Closed this issue · 1 comments

samaritan1998 commented
请问内存要求是多大呢？8卡，每张卡40G能训起来么？
XuRui314 commented

您好，8卡A100 40g的话我没有试过，因为暂时还不支持zero3模型分布，所以即使是batch为1每张卡的显存占用可能也会超过40g，还是建议用80g的卡调