现在的代码怎么实现batch大于1的推理
Opened this issue · 2 comments
leb-2 commented
我想问一下怎么实现batch大于1的推理，一个固定的值就行，不需要动态batch
Linaom1214 commented
我想问一下怎么实现batch大于1的推理，一个固定的值就行，不需要动态batch
目前的代码不支持，不使用nms 插件的话，很容易实现，现在是为了实现不使用第三库直接插入nms插件。众所周知trt是半开源的，我也无解。还有一种方案是，使用troch.fx 实现，那样就是需要一点第三方依赖，不能开盖即食。
leb-2 commented
如果不使用nms插件的话怎么实现，能否详细讲讲，谢谢