tpoisonooo/llama.onnx

如何分段转换llama模型为onnx？

jxcomeon opened this issue · 5 comments

jxcomeon commented

看了一下readme，想请问一下将llama转换为onnx的代码在tool/export-onnx.py中么？我没有找到

AmazeQiu commented

同求！ 我也没找到！ 自己转llama到onnx踩了好多坑了还是没转成功，好奇是怎么转的 T_T

AmazeQiu commented

我发现了，他是自己修改transformers源码，在transformers源码里调用了torch.onnx.export

jxcomeon commented

我发现了，他是自己修改transformers源码，在transformers源码里调用了torch.onnx.export

他修改的源码在哪里呀？

tpoisonooo commented

我发现了，他是自己修改transformers源码，在transformers源码里调用了torch.onnx.export

对啊。

tpoisonooo commented

我发现了，他是自己修改transformers源码，在transformers源码里调用了torch.onnx.export

他修改的源码在哪里呀？

https://github.com/huggingface/transformers/blob/main/src/transformers/models/llama/modeling_llama.py 在这儿改。最终都会调这个 class