关于预训练的问题
Opened this issue · 2 comments
zyhxbz commented
在对模型进行的预训练时，readme给出的指导并没有给出预训练模型的路径，而只有模型的输出路径，但我想使用训练好的模型接着进行预训练时，得到的结果是未经预训练模型产生的结果，经过实验，如果想使用已经预训练的模型接着进行预训练，应当在运行pretrain.py文件时加入预训练模型的路径参数：--pretrained_modle_path，指明预训练模型的路径
zxxcjy123 commented
在对模型进行的预训练时，readme给出的指导并没有给出预训练模型的路径，而只有模型的输出路径，但我想使用训练好的模型接着进行预训练时，得到的结果是未经预训练模型产生的结果，经过实验，如果想使用已经预训练的模型接着进行预训练，应当在运行 pretrain.py 文件时加入预训练模型的路径参数：--pretrained_modle_path，指明预训练模型的路径
请问一下你进行增量预训练后，预训练模型会在原作者的预训练模型基础上增加你后面添加的预训练知识吗？
lional2017 commented
实在不行自己魔改代码在预训练前加一句模型读取吧，作者提供的代码问题还挺多的