BorisPolonsky/dify-helm

抱歉打扰作者了,借楼请教大佬一个问题,关于transformers.MegatronBertModel 导出ONNX 模型遇到困难

xinge333 opened this issue · 0 comments

有在这里看到大佬在这里提出的 issue,IDEA-CCNL/Fengshenbang-LM#295
我也遇到了同样的问题,1、直接使用torch.onnx.export()导出会出现一堆零散的权重,这样看起来是行不通的;
2、使用huggingface里面的optimum-cli工具进行导出也不行,提示不支持megatron-bert,只支持 bert、deberta、deberta-v2这样子的模型,也行不通;
冒昧问下作者大佬最后有解决这个问题吗,能成功导出 onnx,如果有解烦请指点下。我之前的 hfl/roberta bert直接导出是没有问题的,不知道这个是megatron-bert本身的问题,还是Fengshenbang这个 erlangshen-bert是有问题的。