/PaddleDetection

Object Detection toolkit based on PaddlePaddle. It supports object detection, instance segmentation, multiple object tracking and real-time multi-person keypoint detection.

Primary LanguagePythonApache License 2.0Apache-2.0

简体中文 | English

飞桨目标检测开发套件,端到端地完成从训练到部署的全流程目标检测应用。

🚀 热门活动

  • 🎊 【AI快车道三日课】PP-YOLOE+、PP-Human v2、PP-Vehicle技术方案大揭秘!

    • 时间:10月18-20日 晚上8:15
    • 10月18日:YOLO算法精讲与最强新星PP-YOLOE+升级详解
    • 10月19日:10分钟搭建行人分析系统
    • 10月20日:智能交通监控系统技术剖析
    • 🎁 扫码入群即可获取专属直播链接与技术大礼包!

产品动态

  • 🔥 2022.8.26:PaddleDetection发布release/2.5版本

    • 🗳 特色模型:
      • 发布PP-YOLOE+,最高精度提升2.4% mAP,达到54.9% mAP,模型训练收敛速度提升3.75倍,端到端预测速度最高提升2.3倍;多个下游任务泛化性提升
      • 发布PicoDet-NPU模型,支持模型全量化部署;新增PicoDet版面分析模型
      • 发布PP-TinyPose升级版增强版,在健身、舞蹈等场景精度提升9.1% AP,支持侧身、卧躺、跳跃、高抬腿等非常规动作
    • 🔮 场景能力:
      • 发布行人分析工具PP-Human v2,新增打架、打电话、抽烟、闯入四大行为识别,底层算法性能升级,覆盖行人检测、跟踪、属性三类核心算法能力,提供保姆级全流程开发及模型优化策略,支持在线视频流输入
      • 首次发布PP-Vehicle,提供车牌识别、车辆属性分析(颜色、车型)、车流量统计以及违章检测四大功能,兼容图片、在线视频流、视频输入,提供完善的二次开发文档教程
    • 💡 前沿算法:
      • 全面覆盖的YOLO家族经典与最新模型代码库PaddleYOLO: 包括YOLOv3,百度飞桨自研的实时高精度目标检测模型PP-YOLOE,以及前沿检测算法YOLOv4、YOLOv5、YOLOX,YOLOv6及YOLOv7
      • 新增基于ViT骨干网络高精度检测模型,COCO数据集精度达到55.7% mAP;新增OC-SORT多目标跟踪模型;新增ConvNeXt骨干网络
    • 📋 产业范例:新增智能健身打架识别来客分析、车辆结构化范例
  • 2022.3.24:PaddleDetection发布release/2.4版本

    • 发布高精度云边一体SOTA目标检测模型PP-YOLOE,提供s/m/l/x版本,l版本COCO test2017数据集精度51.6%,V100预测速度78.1 FPS,支持混合精度训练,训练较PP-YOLOv2加速33%,全系列多尺度模型,满足不同硬件算力需求,可适配服务器、边缘端GPU及其他服务器端AI加速卡。
    • 发布边缘端和CPU端超轻量SOTA目标检测模型PP-PicoDet增强版,精度提升2%左右,CPU预测速度提升63%,新增参数量0.7M的PicoDet-XS模型,提供模型稀疏化和量化功能,便于模型加速,各类硬件无需单独开发后处理模块,降低部署门槛。
    • 发布实时行人分析工具PP-Human,支持行人跟踪、人流量统计、人体属性识别与摔倒检测四大能力,基于真实场景数据特殊优化,精准识别各类摔倒姿势,适应不同环境背景、光线及摄像角度。
    • 新增YOLOX目标检测模型,支持nano/tiny/s/m/l/x版本,x版本COCO val2017数据集精度51.8%。
  • 更多版本发布

简介

PaddleDetection为基于飞桨PaddlePaddle的端到端目标检测套件,内置30+模型算法300+预训练模型,覆盖目标检测、实例分割、跟踪、关键点检测等方向,其中包括服务器端和移动端高精度、轻量级产业级SOTA模型、冠军方案和学术前沿算法,并提供配置化的网络模块组件、十余种数据增强策略和损失函数等高阶优化支持和多种部署方案,在打通数据处理、模型开发、训练、压缩、部署全流程的基础上,提供丰富的案例及教程,加速算法产业落地应用。

特性

  • 模型丰富: 包含目标检测实例分割人脸检测关键点检测多目标跟踪250+个预训练模型,涵盖多种全球竞赛冠军方案。
  • 使用简洁:模块化设计,解耦各个网络组件,开发者轻松搭建、试用各种检测模型及优化策略,快速得到高性能、定制化的算法。
  • 端到端打通: 从数据增强、组网、训练、压缩、部署端到端打通,并完备支持云端/边缘端多架构、多设备部署。
  • 高性能: 基于飞桨的高性能内核,模型训练速度及显存占用优势明显。支持FP16训练, 支持多机训练。

技术交流

  • 如果你发现任何PaddleDetection存在的问题或者是建议, 欢迎通过GitHub Issues给我们提issues。

  • 欢迎加入PaddleDetection 微信用户群(扫码填写问卷即可入群)

    • 入群福利 💎:获取PaddleDetection团队整理的重磅学习大礼包🎁
      • 📊 福利一:获取飞桨联合业界企业整理的开源数据集
      • 👨‍🏫 福利二:获取PaddleDetection历次发版直播视频与最新直播咨询
      • 🗳 福利三:获取垂类场景预训练模型集合,包括工业、安防、交通等5+行业场景
      • 🗂 福利四:获取10+全流程产业实操范例,覆盖火灾烟雾检测、人流量计数等产业高频场景

套件结构概览

Architectures Backbones Components Data Augmentation
    Object Detection
    • Faster RCNN
    • FPN
    • Cascade-RCNN
    • PSS-Det
    • RetinaNet
    • YOLOv3
    • YOLOv5
    • YOLOv6
    • YOLOv7
    • PP-YOLOv1/v2
    • PP-YOLO-Tiny
    • PP-YOLOE
    • PP-YOLOE+
    • YOLOX
    • SSD
    • CenterNet
    • FCOS
    • TTFNet
    • TOOD
    • GFL
    • PP-PicoDet
    • DETR
    • Deformable DETR
    • Swin Transformer
    • Sparse RCNN
    Instance Segmentation
    • Mask RCNN
    • Cascade Mask RCNN
    • SOLOv2
    Face Detection
    • BlazeFace
    Multi-Object-Tracking
    • JDE
    • FairMOT
    • DeepSORT
    • ByteTrack
    • OC-SORT
    KeyPoint-Detection
    • HRNet
    • HigherHRNet
    • Lite-HRNet
    • PP-TinyPose
Details
  • ResNet(&vd)
  • Res2Net(&vd)
  • CSPResNet
  • SENet
  • Res2Net
  • HRNet
  • Lite-HRNet
  • DarkNet
  • CSPDarkNet
  • MobileNetv1/v3
  • ShuffleNet
  • GhostNet
  • BlazeNet
  • DLA
  • HardNet
  • LCNet
  • ESNet
  • Swin-Transformer
  • ConvNeXt
  • Vision Transformer
Common
  • Sync-BN
  • Group Norm
  • DCNv2
  • EMA
KeyPoint
  • DarkPose
FPN
  • BiFPN
  • CSP-PAN
  • Custom-PAN
  • ES-PAN
  • HRFPN
Loss
  • Smooth-L1
  • GIoU/DIoU/CIoU
  • IoUAware
  • Focal Loss
  • CT Focal Loss
  • VariFocal Loss
Post-processing
  • SoftNMS
  • MatrixNMS
Speed
  • FP16 training
  • Multi-machine training
Details
  • Resize
  • Lighting
  • Flipping
  • Expand
  • Crop
  • Color Distort
  • Random Erasing
  • Mixup
  • AugmentHSV
  • Mosaic
  • Cutmix
  • Grid Mask
  • Auto Augment
  • Random Perspective

模型性能概览

云端模型性能对比

各模型结构和骨干网络的代表模型在COCO数据集上精度mAP和单卡Tesla V100上预测速度(FPS)对比图。

说明:

  • ViTViT-Cascade-Faster-RCNN模型,COCO数据集mAP高达55.7%
  • Cascade-Faster-RCNNCascade-Faster-RCNN-ResNet50vd-DCN,PaddleDetection将其优化到COCO数据mAP为47.8%时推理速度为20FPS
  • PP-YOLOE是对PP-YOLO v2模型的进一步优化,L版本在COCO数据集mAP为51.6%,Tesla V100预测速度78.1FPS
  • PP-YOLOE+是对PPOLOE模型的进一步优化,L版本在COCO数据集mAP为53.3%,Tesla V100预测速度78.1FPS
  • YOLOXYOLOv5均为基于PaddleDetection复现算法,YOLOv5代码在PaddleYOLO中,参照YOLOSERIES_MODEL
  • 图中模型均可在模型库中获取
移动端模型性能对比

各移动端模型在COCO数据集上精度mAP和高通骁龙865处理器上预测速度(FPS)对比图。

说明:

  • 测试数据均使用高通骁龙865(4*A77 + 4*A55)处理器batch size为1, 开启4线程测试,测试使用NCNN预测库,测试脚本见MobileDetBenchmark
  • PP-PicoDetPP-YOLO-Tiny为PaddleDetection自研模型,其余模型PaddleDetection暂未提供

模型库

1. 通用检测

PP-YOLOE+系列 推荐场景:Nvidia V100, T4等云端GPU和Jetson系列等边缘端设备

模型名称 COCO精度(mAP) V100 TensorRT FP16速度(FPS) 配置文件 模型下载
PP-YOLOE+_s 43.9 333.3 链接 下载地址
PP-YOLOE+_m 50.0 208.3 链接 下载地址
PP-YOLOE+_l 53.3 149.2 链接 下载地址
PP-YOLOE+_x 54.9 95.2 链接 下载地址

PP-PicoDet系列 推荐场景:ARM CPU(RK3399, 树莓派等) 和NPU(比特大陆,晶晨等)移动端芯片和x86 CPU设备

模型名称 COCO精度(mAP) 骁龙865 四线程速度(ms) 配置文件 模型下载
PicoDet-XS 23.5 7.81 链接 下载地址
PicoDet-S 29.1 9.56 链接 下载地址
PicoDet-M 34.4 17.68 链接 下载地址
PicoDet-L 36.1 25.21 链接 下载地址

前沿检测算法

模型名称 COCO精度(mAP) V100 TensorRT FP16速度(FPS) 配置文件 模型下载
YOLOX-l 50.1 107.5 链接 下载地址
YOLOv5-l 48.6 136.0 链接 下载地址
YOLOv7-l 51.0 135.0 链接 下载地址

注意:

其他通用检测模型 文档链接

2. 实例分割
模型名称 模型简介 推荐场景 COCO精度(mAP) 配置文件 模型下载
Mask RCNN 两阶段实例分割算法 云边端 box AP: 41.4
mask AP: 37.5
链接 下载地址
Cascade Mask RCNN 两阶段实例分割算法 云边端 box AP: 45.7
mask AP: 39.7
链接 下载地址
SOLOv2 轻量级单阶段实例分割算法 云边端 mask AP: 38.0 链接 下载地址
3. 关键点检测
模型名称 模型简介 推荐场景 COCO精度(AP) 速度 配置文件 模型下载
HRNet-w32 + DarkPose
top-down 关键点检测算法
输入尺寸384x288
云边端
78.3 T4 TensorRT FP16 2.96ms 链接 下载地址
HRNet-w32 + DarkPose top-down 关键点检测算法
输入尺寸256x192
云边端 78.0 T4 TensorRT FP16 1.75ms 链接 下载地址
PP-TinyPose 轻量级关键点算法
输入尺寸256x192
移动端 68.8 骁龙865 四线程 6.30ms 链接 下载地址
PP-TinyPose 轻量级关键点算法
输入尺寸128x96
移动端 58.1 骁龙865 四线程 2.37ms 链接 下载地址

其他关键点检测模型 文档链接

4. 多目标跟踪PP-Tracking
模型名称 模型简介 推荐场景 精度 配置文件 模型下载
ByteTrack SDE多目标跟踪算法 仅包含检测模型 云边端 MOT-17 test: 78.4 链接 下载地址
FairMOT JDE多目标跟踪算法 多任务联合学习方法 云边端 MOT-16 test: 75.0 链接 下载地址
OC-SORT SDE多目标跟踪算法 仅包含检测模型 云边端 MOT-17 half val: 75.5 链接 下载地址

其他多目标跟踪模型 文档链接

5. 产业级实时行人分析工具PP-Human
任务 端到端速度(ms) 模型方案 模型体积
行人检测(高精度) 25.1ms 目标检测 182M
行人检测(轻量级) 16.2ms 目标检测 27M
行人跟踪(高精度) 31.8ms 多目标跟踪 182M
行人跟踪(轻量级) 21.0ms 多目标跟踪 27M
属性识别(高精度) 单人8.5ms 目标检测
属性识别
目标检测:182M
属性识别:86M
属性识别(轻量级) 单人7.1ms 目标检测
属性识别
目标检测:182M
属性识别:86M
摔倒识别 单人10ms 多目标跟踪
关键点检测
基于关键点行为识别
多目标跟踪:182M
关键点检测:101M
基于关键点行为识别:21.8M
闯入识别 31.8ms 多目标跟踪 182M
打架识别 19.7ms 视频分类 90M
抽烟识别 单人15.1ms 目标检测
基于人体id的目标检测
目标检测:182M
基于人体id的目标检测:27M
打电话识别 单人ms 目标检测
基于人体id的图像分类
目标检测:182M
基于人体id的图像分类:45M

点击模型方案中的模型即可下载指定模型

详细信息参考文档

6. 产业级实时车辆分析工具PP-Vehicle
任务 端到端速度(ms) 模型方案 模型体积
车辆检测(高精度) 25.7ms 目标检测 182M
车辆检测(轻量级) 13.2ms 目标检测 27M
车辆跟踪(高精度) 40ms 多目标跟踪 182M
车辆跟踪(轻量级) 25ms 多目标跟踪 27M
车牌识别 4.68ms 车牌检测
车牌识别
车牌检测:3.9M
车牌字符识别: 12M
车辆属性 7.31ms 属性识别 7.2M

点击模型方案中的模型即可下载指定模型

详细信息参考文档

文档教程

入门教程

进阶教程

课程专栏

  • 【理论基础】目标检测7日打卡营 目标检测任务综述、RCNN系列目标检测算法详解、YOLO系列目标检测算法详解、PP-YOLO优化策略与案例分享、AnchorFree系列算法介绍和实践

  • 【产业实践】AI快车道产业级目标检测技术与应用 目标检测超强目标检测算法矩阵、实时行人分析系统PP-Human、目标检测产业应用全流程拆解与实践

  • 【行业特色】2022.3.26 智慧城市行业七日课 城市规划、城市治理、智慧政务、交通管理、社区治理

  • 【学术交流】2022.9.27 YOLO Vision世界学术交流大会 PaddleDetection受邀参与首个以YOLO为主题的YOLO Vision世界大会,与全球AI领先开发者学习交流

应用案例

第三方教程推荐

版本更新

版本更新内容请参考版本更新文档

许可证书

本项目的发布受Apache 2.0 license许可认证。

贡献代码

我们非常欢迎你可以为PaddleDetection提供代码,也十分感谢你的反馈。

  • 感谢Mandroide清理代码并且统一部分函数接口。
  • 感谢FL77N贡献Sparse-RCNN模型。
  • 感谢Chen-Song贡献Swin Faster-RCNN模型。
  • 感谢yangyudong, hchhtc123 开发PP-Tracking GUI界面
  • 感谢Shigure19 开发PP-TinyPose健身APP
  • 感谢manangoel99贡献Wandb可视化方式

引用

@misc{ppdet2019,
title={PaddleDetection, Object detection and instance segmentation toolkit based on PaddlePaddle.},
author={PaddlePaddle Authors},
howpublished = {\url{https://github.com/PaddlePaddle/PaddleDetection}},
year={2019}
}