bert4torch中,使用单卡多GPU训练,使用accelerate后,不能使用梯度剪裁。
wjj97172 opened this issue · 3 comments
wjj97172 commented
定义模型的时候,如果使用了accelerate模块后,model.compile()里面不能使用梯度剪裁,
model = AccelerateTrainer(net,**var(args))
model.compile(
loss = nn.CrossEntropyLoss(),
optimizer=optimizer,
clip_grad_norm=1.0,
metrics=['accuracy'] )
报错:accelerateTrainer object has no attribute parameters
Tongjilibo commented
试一下这个版本,pip install torch4keras==0.1.6.post2
,可能会提示不兼容,但是可以正常使用,后续会发布对应版本的bert4torch
Tongjilibo commented
可以安装bert4torch==0.4.1使用
wjj97172 commented
可以安装bert4torch==0.4.1使用
升级后,可以使用了。