WizardMath-7b和WizardLM-7b模型合并问题

[sasgkhgw]

因为两者的基座模型不同，wizardlm-7b（llama-7b），wizardmath-7b（llama-2-7b），想知道在合并时，是怎么处理的，例如base model该选择为llama-2-7b还是llama-7b？
还是说只使用了7b模型用于验证▽W的冗余，暂时没有进行merge实验。

[yule-BUAA]

你好。
当前的7B模型只用于验证了delta参数的冗余性，由于论文中使用的7B模型的backbone不同，故没有进行7B模型的merge实验。

[sasgkhgw]

好的，非常感谢！

[GarminQ]

作者你好，是否可以合并WizardMath-7B-V1.0和WizardCoder-Python-7B-V1.0呢？
"WizardMath-7B-V1.0": "Llama-2-7b-hf",
"WizardCoder-Python-7B-V1.0": "Llama-2-7b-hf",