请问用RTX3090 24GB显存能跑动这个模型吗

Question

Closed this issue 4 months ago · 3 comments

Answer 1 · 2024-05-21T13:50:50.000Z

可以，llama的batchsize设为4可以跑起来，就是很慢

Answer 2 · 2024-05-27T06:56:17.000Z

可以的，缩小batch_size即可，或者减少层数，替换base model为gpt2或者bert，都可以有效减少显存开销

Answer 3 · 2024-05-29T02:30:33.000Z

@kwuking 你好，请问能用这个显卡运行llama模型吗