CUDA out of memory
Closed this issue · 3 comments
jiangix-paper commented
你好，如果不使用bminf，text_generation.py中默认的显存是12G，我现在显卡是16G的v100，在使用默认配置运行text_generation.py时显示cuda out of memory，请问是什么原因呢
a710128 commented
不使用BMInf时，现存限制不会生效。
jiangix-paper commented
请问不使用BMInf的时候，text_generation.py运行大概要多少的显存，如果单卡16G会out of memory的话，能否支持多卡推理呢
zh-zheng commented
请问不使用BMInf的时候，text_generation.py运行大概要多少的显存，如果单卡16G会out of memory的话，能否支持多卡推理呢
当前的代码不支持多卡推理。