fp16模型预测
deepthman opened this issue · 4 comments
我使用yolov5-6.1的模型，修改相关代码后能成功预测，但我使用fp16的模型时，检测失败了，没有报错。
不能在yolo项目里export的时候导出半精度。把onnx模型用c++的api手动导出成半精度就可以了。
你好，可以私聊请教一下您是如何进行fp16的测速嘛？我在从onnx转trt的时候开了--fp16的选项，但是在推理的时候（我写了一个测coco验证集的脚本，总体跟trt.py的调用方法一样），如果我把输入改成fp16的形式，就会有错。（会在开 torch.cuda.synchronize()的时候，报
[E] 1: [cudaResources.cpp::~ScopedCudaEvent::24] Error Code 1: Cuda Runtime (an illegal memory access was encountered)
——————————————————————————————————————————————————
所以是不是不能用这个repo的转trt，而是用官方的那个trtexec方法转呀😢
你好，可以私聊请教一下您是如何进行fp16的测速嘛？我在从onnx转trt的时候开了--fp16的选项，但是在推理的时候（我写了一个测coco验证集的脚本，总体跟trt.py的调用方法一样），如果我把输入改成fp16的形式，就会有错。（会在开 torch.cuda.synchronize()的时候，报 [E] 1: [cudaResources.cpp::~ScopedCudaEvent::24] Error Code 1: Cuda Runtime (an illegal memory access was encountered)
—————————————————————————————————————————————————— 所以是不是不能用这个repo的转trt，而是用官方的那个trtexec方法转呀😢
是的，得用官方那个工具才不会报错，不过现在版本可能兼容了吧。
是的，得用官方那个工具才不会报错，不过现在版本可能兼容了吧。
谢谢回复！现在可以兼容了，我这儿问题解决了哈哈，谢谢你！