怎么优化GPU 内存？
Roowenliang opened this issue · 2 comments
Roowenliang commented
作者您好，
非常优秀的算法！
我在尝试训练时遇到：
RuntimeError: CUDA out of memory. Tried to allocate 64.00 MiB (GPU 2; 11.93 GiB total capacity; 11.07 GiB already allocated; 56.12 MiB free; 11.43 GiB reserved in total by PyTorch)
我的机器有四个·GPU， 把 "batch_size": 从8改为4后 才工作。 对于每个GPU来说batch_size 是 2.
如果我想要增加batch_size， 不知道有没可能优化内存， 您有什么建议吗？
多谢！
Paper99 commented
您好，感谢关注。
可以尝试把Temporal Focal Transformer Block的数量减少。
目前默认是8。
Roowenliang commented
多谢！我试试。