mahonelau/TensorRT-YOLO

🚀 TensorRT-YOLO: Support YOLOv5, YOLOv6, YOLOv7, YOLOv8, YOLOv9, PP-YOLOE using TensorRT acceleration with EfficientNMS!

English | 简体中文

🚀 TensorRT YOLO

TensorRT-YOLO 是一个支持 YOLOv5、YOLOv6、YOLOv7、YOLOv8、YOLOv9、PP-YOLOE 和 PP-YOLOE+ 的推理加速项目，使用 NVIDIA TensorRT 进行优化。项目不仅集成了 EfficientNMS TensorRT 插件以增强后处理效果，还使用了 CUDA 核函数来加速前处理过程。TensorRT-YOLO 提供了 C++ 和 Python 推理的支持，旨在提供快速而优化的目标检测解决方案。

✨ 主要特性

• 支持 YOLOv5、YOLOv6、YOLOv7、YOLOv8、YOLOv9、PP-YOLOE 和 PP-YOLOE+
• 支持 ONNX 静态、动态导出以及 TensorRT 推理
• 集成 EfficientNMS TensorRT 插件加速后处理
• 利用 CUDA 核函数加速前处理
• 支持 C++ 和 Python 推理
• CLI 快速导出与推理
• Docker 一键部署

🛠️ 环境要求

• 推荐 CUDA 版本 >= 11.6
• 推荐 TensorRT 版本 >= 8.6

📦 使用教程

• 快速编译安装

• 使用 CLI 模型导出

• PTQ INT8 量化

• 模型推理示例

📺 BiliBili

• 啪的一下，很快啊！TensorRT YOLOv5s 在FP16模式下，批量大小4，仅需13毫秒！

• 【TensorRT-YOLO】YOLOv9 TensorRT 推理➕EfficientNMS

• 【TensorRT-YOLO】YOLOv8 推理最速传说 1ms

📄 许可证

TensorRT-YOLO采用 GPL-3.0许可证，这个OSI 批准的开源许可证非常适合学生和爱好者，可以推动开放的协作和知识分享。请查看LICENSE 文件以了解更多细节。

感谢您选择使用 TensorRT-YOLO，我们鼓励开放的协作和知识分享，同时也希望您遵守开源许可的相关规定。

📞 联系方式

对于 TensorRT-YOLO 的错误报告和功能请求，请访问 GitHub Issues！