yeyupiaoling/Whisper-Finetune

如何随机化模型参数,从头开始训练

Closed this issue · 2 comments

你好,如果我想从头开始训练,如何对加载的模型参数进行随机化?

获取模型

model = WhisperForConditionalGeneration.from_pretrained(args.base_model,
load_in_8bit=args.use_8bit,
device_map=device_map,
local_files_only=args.local_files_only)

这个不太清楚,你应该去找一下Transformers文档。

多谢