Allocation on device
Opened this issue · 4 comments
archerduan commented
Allocation on device，Does RTX2080ti graphics card not support it?
archerduan commented
这个节点是对显卡有要求吗？是只支持40系显卡吗？2080ti一直报错，11G显存应该不至于爆吧
smthemex commented
推理峰值在10G多一点，如果有其他占用，是可能OOM的，目前我只优化了一部分，如果全按官方的跑，12G都跑的慢。迟点拆分它的推理流程，看能再降一点吧。
archerduan commented
非常感谢
ulanyum commented
I am also facing a similar issue with my NVIDIA 3090 GPU. The error I am getting is related to "Allocation on device".