dourgey/qwen2_moe_mergekit

根据Qwen2（Qwen1.5）模型生成qwen2 MoE模型的工具

qwen2_moe_mergekit

根据Qwen2（Qwen1.5）模型生成qwen2 MoE模型的工具

使用方法：

参见convert_kit.py的main函数

BUGs

• 模型保存后，使用AutoModel进行加载时，如果环境中未安装flash-attn会报错，这时需要注释掉src.modeling_qwen2_moe.py的55~59行，即：

if is_flash_attn_2_available():
    from flash_attn import flash_attn_func, flash_attn_varlen_func
    from flash_attn.bert_padding import index_first_axis, pad_input, unpad_input  # noqa

    _flash_supports_window_size = "window_size" in list(inspect.signature(flash_attn_func).parameters)

• 在某些版本的transformers库下加载保存的模型时，可能会出错，建议升级到requirements.txt的版本，其他版本未完整测试