zhengli97/PromptKD

The requirements of GPU

Closed this issue · 9 comments

zhangyupeng123 commented

请问训练这个需要多少训练资源，需要花多长时间呢？

zhengli97 commented

我用的是a100跑的，除了imagenet和food以外的小数据集还是挺快的，时间不定，大概6h以内能跑完

zhangyupeng123 commented

请问是a100占满显存是吗？因为我们只有3090，所以想看看能不能跑。

zhengli97 commented

这个方法吃显存很少，8g的卡有些实验都能跑得动，3090 24g肯定可以

zhangyupeng123 commented

好的，谢谢啦~~

zhengli97 commented

不客气 如果repo有帮助的话还麻烦帮忙点个star哈~

zhangyupeng123 commented

好嘞，没问题！

jiachengzhong commented

请问imagenet大约需要什么样的硬件条件呢

zhengli97 commented

请问imagenet大约需要什么样的硬件条件呢

@jiachengzhong imagenet应该11g的卡比如2080ti这种就可以跑得动。数据量比较大，可以考虑加大batch size到最大显存，同时同倍扩大LR，对精度影响比较小，但是跑的速度可以很快。我用a100跑的，大概1天左右。如果用小的bs 8，可能会要2-3天

jiachengzhong commented

@zhengli97 感谢解答，祝学术长青~