微调在WhisperProcessor.from_pretrained调用时就报错

[lichq5]

我使用单卡训练，一启动就报错：
Traceback (most recent call last):
File "/workspace/Whisper-Finetune-master/finetune.py", line 47, in
processor = WhisperProcessor.from_pretrained(args.base_model,
File "/opt/conda/lib/python3.10/site-packages/transformers/processing_utils.py", line 228, in from_pretrained
args = cls._get_arguments_from_pretrained(pretrained_model_name_or_path, **kwargs)
File "/opt/conda/lib/python3.10/site-packages/transformers/processing_utils.py", line 272, in _get_arguments_from_pretrained
args.append(attribute_class.from_pretrained(pretrained_model_name_or_path, **kwargs))
File "/opt/conda/lib/python3.10/site-packages/transformers/tokenization_utils_base.py", line 2024, in from_pretrained
return cls._from_pretrained(
File "/opt/conda/lib/python3.10/site-packages/transformers/tokenization_utils_base.py", line 2249, in _from_pretrained
init_kwargs[key] = added_tokens_map.get(init_kwargs[key], init_kwargs[key])
TypeError: unhashable type: 'dict'
这个是怎么回事，是哪里搞错了吗？

[yeyupiaoling]

这有可能是你下载的模型文件不完整。或者是错的。

[lichq5]

我把openai/whisper-small/的[flax_model.msgpack][model.safetensors][pytorch_model.bin][tf_model.h5]四个模型都下载下来了，都不行，这是为什么。没有md5也没法校验是否不一致，但下载过程都没有报错

[yeyupiaoling]

@lichq5 不止这几个文件，还有很多文件的

[lichq5]

我现在在训练的时候会报这个错：
raise ValueError(
"Asking to pad but the tokenizer does not have a padding token. "
"Please select a token to use as pad_token (tokenizer.pad_token = tokenizer.eos_token e.g.) "
"or add a new pad token via tokenizer.add_special_tokens({'pad_token': '[PAD]'})."
)
如果我手动修改源码，加上self.pad_token="[PAD]"这个代码，会影响训练效果吗

[yeyupiaoling]

这样应该是不行的。 你还是要下载完整的文件去读取里面的token