guoqincode/Open-AnimateAnyone

有办法降低一下显存占用吗

BugsMaker0513 opened this issue · 7 comments

BugsMaker0513 commented

V100 32G能不能训起来？

guoqincode commented

I'm sorry, but I found that tricks (FP16, BF16, etc.) that reduce the memory will reduce the performance of the model (NAN loss often occurs), so 80GB VRAM is best for normal training, 32GB VRAM is not enough.

wangxr1999 commented

It's barely possible without using DDP

zhangvia commented

V100 32G能不能训起来？

deepspeed可以降低stage1到33g左右，两卡。如果用更多的卡可以继续降一点。可以考虑用colossalai来卸载大部分参数和优化器状态到cpu上。但我没有尝试成功。。

jingjiqinggong commented

V100 32G能不能训起来？

deepspeed可以降低stage1到33g左右，两卡。如果用更多的卡可以继续降一点。可以考虑用colossalai来卸载大部分参数和优化器状态到cpu上。但我没有尝试成功。。

您好。请问您可以提供将stage1降到两卡33G的 deepspeed版的代码吗？非常感谢

zhangvia commented

V100 32G能不能训起来？

deepspeed可以降低stage1到33g左右，两卡。如果用更多的卡可以继续降一点。可以考虑用colossalai来卸载大部分参数和优化器状态到cpu上。但我没有尝试成功。。

您好。请问您可以提供将stage1降到两卡33G的 deepspeed版的代码吗？非常感谢

可以参考摩尔线程的训练代码，通过accelerate启动deepspeed

SystemErrorWang commented

V100 32G能不能训起来？

deepspeed可以降低stage1到33g左右，两卡。如果用更多的卡可以继续降一点。可以考虑用colossalai来卸载大部分参数和优化器状态到cpu上。但我没有尝试成功。。

您好。请问您可以提供将stage1降到两卡33G的 deepspeed版的代码吗？非常感谢

可以参考摩尔线程的训练代码，通过accelerate启动deepspeed

hello，我用摩尔线程的训练代码，deepspeed训练4步之后会卡住不动。请问您是用他们的代码+deepspeed成功了吗？可以介绍一下是怎么用的吗？

zhangvia commented

hello，我用摩尔线程的训练代码，deepspeed训练4步之后会卡住不动。请问您是用他们的代码+deepspeed成功了吗？可以介绍一下是怎么用的吗？

可能是种子问题吧，seed必须是摩尔线程代码的seed