tu2022 opened this issue a year ago · 0 comments
我想多卡微调模型，用超长文本（超过1024）来微调。因为1024用4张卡已经很勉强了，所以我想用8张卡微调，但是我用超过4张卡运行就会报错，有大佬们试过用8卡微调的吗？最长能支持多长的文本长度？