orpo训练较慢
LiuChen19960902 opened this issue · 3 comments
LiuChen19960902 commented
请问作者有没有遇到orpo全参训练的时候很慢的情况，GPU的利用率很低，只有10%左右。我做其他的训练时候没有遇到过这个问题。
不知道是不是我自己的配置问题
hiyouga commented
代码是最新的吗
LiuChen19960902 commented
代码是最新的吗
不是最新的，大概是两个礼拜前更新过一次
LiuChen19960902 commented
我看您最新的代码改版有些大，我自己也在本地做了一些其它的适配。如果更新成最新的代码可能我自己的适配不一定能用了。请问在最新版本前有没有其它的版本可以解决这个问题呢