Tongjilibo/bert4torch

bert4torch中,使用单卡多GPU训练,使用accelerate后,不能使用梯度剪裁。

wjj97172 opened this issue · 3 comments

定义模型的时候,如果使用了accelerate模块后,model.compile()里面不能使用梯度剪裁,

model = AccelerateTrainer(net,**var(args))

model.compile(
loss = nn.CrossEntropyLoss(),
optimizer=optimizer,
clip_grad_norm=1.0,
metrics=['accuracy'] )

报错:accelerateTrainer object has no attribute parameters

试一下这个版本,pip install torch4keras==0.1.6.post2,可能会提示不兼容,但是可以正常使用,后续会发布对应版本的bert4torch

可以安装bert4torch==0.4.1使用

可以安装bert4torch==0.4.1使用

升级后,可以使用了。