Linaom1214/TensorRT-For-YOLO-Series

yolov8 inference

jhxiang opened this issue · 3 comments

jhxiang commented

请问一下为什么yolov8 end2end的推理，warmup和没有warmup时间相差这么多吗？没有warmup大概700ms，有warmup只有6ms，Infer函数不都是执行的图片放入gpu，然后推理结果从gpu放到内存吗？难道是warmup之后，图片不需要从内存到gpu了吗？
另外，如果我是处理视频，需要实时从视频帧读取到gpu，这应该是没办法用warmup吧？这应该怎么处理？

Yuanlin-Zhao commented

哥们给个联系方式我有一些问题想咨询你

jhxiang commented

我主页有

Linaom1214 commented

请问一下为什么yolov8 end2end的推理，warmup和没有warmup时间相差这么多吗？没有warmup大概700ms，有warmup只有6ms，Infer函数不都是执行的图片放入gpu，然后推理结果从gpu放到内存吗？难道是warmup之后，图片不需要从内存到gpu了吗？ 另外，如果我是处理视频，需要实时从视频帧读取到gpu，这应该是没办法用warmup吧？这应该怎么处理？

模型load以后 可以warmup， 使用空数据infer几次 然后 业务流来了以后直接推理