tpoisonooo/llama.onnx

请问如何支持batch的推理？

VincentJYZhang opened this issue · 1 comments

VincentJYZhang commented

目前的onnx输入，第一维度是1，如何支持batch的推理，把第一维度改成N？

tpoisonooo commented

直接编辑 onnx，1 改 N 就行了。这个没啥影响。

代码的话 import onnx，inputs 的参数都是可写的。