yeyupiaoling/Whisper-Finetune

NaN or Inf found in input tensor

Closed this issue · 2 comments

GoldenLinlin commented

image
您好，当我用两个卡训练时出现这种错误：NaN or Inf found in input tensor，但是同样的数据只用一个卡的时候没有，这是因为什么呢？
两个训练代码间唯一的改动只有CUDA_VISIBLE_DEVICES=1,2与CUDA_VISIBLE_DEVICES=1
471d187e3b9db22365fb193f2060913

GoldenLinlin commented

采用的模型为：whisper-large-v3

yeyupiaoling commented

@GoldenLinlin 你看看是不是学习率太大了，或者数据有问题