WizardMath-7b和WizardLM-7b模型合并问题

[sasgkhgw]

因为两者的基座模型不同，wizardlm-7b（llama-7b），wizardmath-7b（llama-2-7b），想知道在合并时，是怎么处理的，例如base model该选择为llama-2-7b还是llama-7b？
还是说只使用了7b模型用于验证▽W的冗余，暂时没有进行merge实验。

[yule-BUAA]

你好。
当前的7B模型只用于验证了delta参数的冗余性，由于论文中使用的7B模型的backbone不同，故没有进行7B模型的merge实验。

[sasgkhgw]

好的，非常感谢！