jsksxs360/How-to-use-Transformers

大佬有没有继续预训练的使用方法啊？

frostjsy opened this issue · 2 comments

frostjsy commented
大佬有没有继续预训练的使用方法啊？
frostjsy commented

大佬有没有继续预训练的使用方法啊？

jsksxs360 commented

这个应该就是按照预训练任务继续微调吧，比如 MLM 任务，就也随机 Mask 掉一些 token，然后用 AutoModelForMaskedLM 加载模型参数微调。我不知道有没有专门的库。

如果是大规模模型 LLM 的话，你可以看一下 Huggingface 官方的 PEFT 库，里面提供了很多流行的 efficient tuning 方法，比如 Low-Rank Adaptation (LoRA)。