onnxruntime TRT error

Question

onnxruntime TRT error

1320414730 opened this issue a year ago · 8 comments

1320414730 commented a year ago

我在用onnxruntime的trt支持运行onnx时报错
2023-09-28 15:18:58.706230695 [W:onnxruntime:Default, tensorrt_execution_provider.h:63 log] [2023-09-28 07:18:58 WARNING] nx_tensorrt-src/onnx2trt_utils.cpp:375: Your ONNX model has been generated with INT64 weights, while TensorRT does not natively support INT64. Attempting to cast down to INT32.
2023-09-28 15:18:58.706368570 [W:onnxruntime:Default, tensorrt_execution_provider.h:63 log] [2023-09-28 07:18:58 WARNING] nx_tensorrt-src/onnx2trt_utils.cpp:403: One or more weights outside the range of INT32 was clamped
2023-09-28 15:18:58.706658696 [W:onnxruntime:Default, tensorrt_execution_provider.h:63 log] [2023-09-28 07:18:58 WARNING] nx_tensorrt-src/onnx2trt_utils.cpp:403: One or more weights outside the range of INT32 was clamped
进程已结束,退出代码139
能帮我分析下什么原因吗，我看晚上有用onnxsimpl简化的，但我在简化时会报错，用的是您提供的onnx文件

Answer 1 · 2023-09-28T12:49:28.000Z

您好 @1320414730，感谢您对LightGlue-ONNX的兴趣。

INT64->INT32 应该不是问题。代码139好像是关于shape inference的报错。我也试过用onnx-simplifier，但没有成功。

Answer 2 · 2023-10-03T02:53:19.000Z

您好，我按照您的tensorrt步骤进行的，在终端运行报错segmentation fault，调试窗口返回139，您有什么建议吗

Answer 3 · 2023-10-03T17:58:00.000Z

请试试看新提供的 https://github.com/fabio-sim/LightGlue-ONNX/releases/download/v1.0.0/superpoint_lightglue_fused_fp16.onnx

Answer 4 · 2023-10-04T12:35:44.000Z

您好，感谢您积极的回复，还是存在问题，如图：是否可能是版本问题，如onnxruntime-gpu的版本、tensorrt的版本等等，您是否可以提供您验证正常运行的各个库的依赖版本以及对应的模型和代码，感谢 1320414730 ***@***.***  

…

------------------ 原始邮件 ------------------ 发件人: "fabio-sim/LightGlue-ONNX" ***@***.***>; 发送时间: 2023年10月4日(星期三) 凌晨1:58 ***@***.***>; ***@***.******@***.***>; 主题: Re: [fabio-sim/LightGlue-ONNX] onnxruntime TRT error (Issue #32) 请试试看新提供的 https://github.com/fabio-sim/LightGlue-ONNX/releases/download/v1.0.0/superpoint_lightglue_fused_fp16.onnx — Reply to this email directly, view it on GitHub, or unsubscribe. You are receiving this because you were mentioned.Message ID: ***@***.***>

Answer 5 · 2023-10-04T14:32:21.000Z

版本：

WSL2 Ubuntu 22.04
Python 3.10.13
CUDA 11.8
CUDNN 8.9.4
TensorRT 8.6.1

numpy==1.24.1
onnxruntime-gpu==1.16.0
opencv-python==4.8.0.76
matplotlib==3.8.0

模型：superpoint.onnx，superpoint_lightglue_fused_fp16.onnx
运行：

python infer.py --viz --extractor_type superpoint --extractor_path weights/superpoint.onnx --lightglue_path weights/superpoint_lightglue_fused_fp16.onnx --img_paths assets/sacre_coeur1.jpg assets/sacre_coeur2.jpg --trt

Answer 6 · 2023-10-06T07:40:51.000Z

万分感谢您，更新版本后确实能正常运行了，但我注意到end2end的模型输出和分模型输出的结果是不一样的，主要体现在matchs和score中，分模型的onnx中似乎进行了进一步的后处理，是这样吗？哪怕您在infer中区别了end2end分支的postprocess，但似乎输出仍有错误，因为end2end的输出有六个，而代码中接受了四个，导致使用end2end运行时报错，不知您是否注意到了这点，我使用的是v0.1.3中的end2end模型 1320414730 ***@***.***  

…

------------------ 原始邮件 ------------------ 发件人: "fabio-sim/LightGlue-ONNX" ***@***.***>; 发送时间: 2023年10月4日(星期三) 晚上11:00 ***@***.***>; ***@***.******@***.***>; 主题: Re: [fabio-sim/LightGlue-ONNX] onnxruntime TRT error (Issue #32) 版本： WSL2 Ubuntu 22.04 Python 3.10.13 CUDA 11.8 CUDNN 8.9.4 TensorRT 8.6.1 numpy==1.24.1 onnxruntime-gpu==1.16.0 opencv-python==4.8.0.76 matplotlib==3.8.0 模型：superpoint.onnx，superpoint_lightglue_fused_fp16.onnx 运行： python infer.py --viz --extractor_type superpoint --extractor_path weights/superpoint.onnx --lightglue_path weights/superpoint_lightglue_fused_fp16.onnx --img_paths assets/sacre_coeur1.jpg assets/sacre_coeur2.jpg --trt — Reply to this email directly, view it on GitHub, or unsubscribe. You are receiving this because you were mentioned.Message ID: ***@***.***>

Answer 7 · 2023-10-06T13:29:24.000Z

对，v0.1.3的end2end模型有六个输出，而v1.0.0的有四个。

Answer 8 · 2023-10-07T02:21:30.000Z

非常感谢，我会关闭这个讨论