PaddlePaddle/FastDeploy

FastDeploy模型、硬件支持计划

leiqing1 opened this issue · 46 comments

leiqing1 commented

模型 （CV、NLP、Speech、Cross-modal）

  • PP-Tracking(Doing)
  • Robust Video Matting(Doing)

平台& 硬件 （云、边、端）

  • Android ARM CPU
    • Picodet(Doing)
    • PaddleClas(Doing)
  • RKNN2
    • YOLOv5(Doing)

如果你希望FastDeploy支持新的AI模型/新硬件，或与FastDeploy共建生态，欢迎提供如下信息我们：

  1. 硬件型号：例如: 晶晨A311D
  2. 操作系统：例如：Linux
  3. 网络名称：例如：PP-PicoDet
  4. 模型链接：例如：https://github.com/PaddlePaddle/PaddleDetection/tree/release/2.4/configs/picodet 
  5. 详细描述：例如：希望将PP-PicoDet-M模型用到自己车辆检测场景中实现服务化部署，但是对算法前后处理不理解，部署困难。
  6. 联系方式：leiqing@baidu.com
datalee commented

这个只是针对图像类的模型吗？
NLP类的能用不？

jiangjiajun commented

@datalee 可以，目前已经有UIE。 PaddleNLP的所有部署之后都会由FastDeploy来支持哈

  • 👍2
jiangjiajun commented

#369 PP-ShiTu模型

jiangjiajun commented
  • #361 RobustVideoMatting模型（已支持）
jiangjiajun commented

#358 3D目标检测模型

jiangjiajun commented
  • #138 YOLOv5 Classification模型支持(已支持)
dachengai commented

mnn 或ncnn 计划支持么，非常期待

  • 👍1
  • 👀2
jiangjiajun commented

#373 PPTracking已经支持

datalee commented

@datalee 可以，目前已经有UIE。 PaddleNLP的所有部署之后都会由FastDeploy来支持哈

有对比过和onnx之间的性能差异吗？

KRuok commented

请问大佬有对tracking模型和像pphuman 这样的action识别流程的支持计划吗

jiangjiajun commented

#465 YOLOv5-seg

wzy123456wzy commented

有没有支持windows 32?

jiangjiajun commented

mnn 或ncnn 计划支持么，非常期待

如果有外部开发者有兴趣来做这个事的话，我可以帮忙一起Review和说明如何集成

jiangjiajun commented

Tracking已经集成支持

jiangjiajun commented

有没有支持windows 32?

现在都基本是Windows x64了呢，你在什么场景下还依赖windows 32呢

acgcc12 commented

paddlex 训练的模型能通过这个部署嘛

jiangjiajun commented

paddlex 训练的模型能通过这个部署嘛

正在支持中

monkeycc commented

paddleX 期待

dwdcth commented

paddleX 期待 +1

trefoil0219 commented

硬件型号：Nvidia T4
操作系统：Linux

需求描述：希望FastDeploy支持nvidia gpu的硬解和推流

liutingxi commented

硬件型号：RK3588
操作系统：Linux
网络名称：PP-TinyPose
模型链接：https://github.com/PaddlePaddle/PaddleDetection/tree/release/2.5/configs/keypoint/tiny_pose

jiangjiajun commented

硬件型号：Nvidia T4 操作系统：Linux

需求描述：希望FastDeploy支持nvidia gpu的硬解和推流

@wang-xinyu

wang-xinyu commented

@populustremble FastDeploy Streamer已经有相应的支持，可参考https://github.com/PaddlePaddle/FastDeploy/tree/develop/streamer

硬件型号：Nvidia T4 操作系统：Linux

需求描述：希望FastDeploy支持nvidia gpu的硬解和推流

trefoil0219 commented

@populustremble FastDeploy Streamer已经有相应的支持，可参考https://github.com/PaddlePaddle/FastDeploy/tree/develop/streamer

硬件型号：Nvidia T4 操作系统：Linux
需求描述：希望FastDeploy支持nvidia gpu的硬解和推流

这部分功能有计划实现python的api吗

wang-xinyu commented

@populustremble 有计划，预计3月底之前会有python API

qiulongquan commented

硬件型号：Nvidia Jetson nano b01 4G
操作系统：Linux(ubuntu)

需求描述：希望FastDeploy支持在nvidia jetson nano上面进行脸部检测的trt部署，现在根据我测试的结果 yolov7face retinaface 模型还不能在nano上面实现trt加速预测功能

trefoil0219 commented

硬件型号：Nvidia T4
操作系统：Linux

需求描述：strongsort、ocsort、bytetrack、botsort 模型支持

  • 👍1
Amy234543 commented

硬件型号：nvidia-smi A40 和A100
操作系统：Linux
模型：paddle的mbart模型
需要mbart模型部署翻译服务接口

apexg commented

硬件型号：昇腾310
操作系统：linux aarch64
网络名称：uie
模型链接：
详细描述：希望将uie模型用到行业的文本信息抽取中，但cpu推理太慢了，期待使用昇腾加速卡进行推理，现在无法部署。
联系方式：18620401618

leiqing1 commented
@leiqing1

现在支持的1684X，因为算能那边在升级工具链，再过一个Q，计划1684也会完备MLIR工具，届时FastDeploy里面的适配工作就可以直接在1684上支持啦。

cumthxy commented

KIE模型有支持计划么

bigbeef commented

GTX750Ti

WilliamQf-AI commented

有没有文档矫正的功能

qiulongquan commented

请问 我们需要PPHGNet samll版 分类模型 的rknn模型转换支持，尝试使用现在公开的 ResNet50_vd
（https://github.com/PaddlePaddle/FastDeploy/tree/develop/examples/vision/classification/paddleclas/rockchip/rknpu2）
但是转换成rknn模型后运行 infer.py 发生报错。
1.请问现在是不是还没有支持PPHGNet模型
2.什么时候可以支持
3.现阶段通过其他方式 是否可以实现PPHGNet模型的rknn模型转换并正常输出预测结果

121786404 commented

@datalee 可以，目前已经有UIE。 PaddleNLP的所有部署之后都会由FastDeploy来支持哈

NLP模型支持的好少，未来会支持更多的大模型吗？不只是PaddleNLP的。

SunYanCN commented

支持GPT2 #2051

ijiami-01 commented

BM1684期待有更好的支持，现在使用examples目录下的YOLOV5的cpp推理，会卡住不动，下面是执行日志。
@BM1684-180:/fastdeploy/examples/vision/detection/yolov5/sophgo/cpp/build$ ./infer_demo ../model 000000014439.jpg
[BMRT][bmcpu_setup:351] INFO:cpu_lib 'libbmcpu.so' is loaded.
bmcpu init: skip cpu_user_defined
open usercpu.so, init user_cpu_init
[BMRT][load_bmodel:1027] INFO:Loading bmodel from [../model/yolov5s_1684x_f32.bmodel]. Thanks for your patience...
[BMRT][load_bmodel:991] INFO:pre net num: 0, load net num: 1
[INFO] fastdeploy/runtime/runtime.cc(367)::CreateSophgoNPUBackend Runtime initialized with Backend::SOPHGO in Device::SOPHGOTPUD.

monkeycc commented

YOLOv8
Classification Segmentation KeyPoint
什么时候能支持

  • 👍1
nefusmzj commented

硬件型号：Intel J1900、Celeon系列
操作系统：Linux
网络名称：PPOCRV3、paddleseg-DeeplabV3
详细描述：我们希望将OCR和分割能力，安装在工控机中，目前主流低功耗工控机所使用的atom、赛扬等低端intel处理器，均不支持AVX指令集。

实测发现paddleserving部署OCR，因为无AVX指令因此失败。

请问FastDeploy是否支持无AVX的intel CPU，若不支持，是否有支持计划。

jiangjiajun commented

硬件型号：Intel J1900、Celeon系列 操作系统：Linux 网络名称：PPOCRV3、paddleseg-DeeplabV3 详细描述：我们希望将OCR和分割能力，安装在工控机中，目前主流低功耗工控机所使用的atom、赛扬等低端intel处理器，均不支持AVX指令集。

实测发现paddleserving部署OCR，因为无AVX指令因此失败。

请问FastDeploy是否支持无AVX的intel CPU，若不支持，是否有支持计划。

目前需要avx指令的应该是Paddle Inference后端。可以自行编译FastDeploy，仅集成ONNXRuntime推理后端即可。

lrp123456 commented

swin transformer模型是否有计划支持
硬件：CPU、GPU
操作系统:Linux Windows
网络名称：faster rcnn（swin）
模型链接：https://github.com/PaddlePaddle/PaddleDetection/blob/release/2.6/configs/faster_rcnn/_base_/faster_rcnn_swin_tiny_fpn.yml

nine-city commented

支持paddlespeech吗
硬件：CPU、GPU（T4和3080）
操作系统:Linux Windows
模型链接：https://github.com/PaddlePaddle/PaddleSpeech/blob/develop/docs/source/released_model.md

monkeycc commented

PP-YOLOE-R
硬件：CPU、GPU
操作系统:Linux Windows
模型链接: https://github.com/PaddlePaddle/PaddleDetection/tree/release/2.7/configs/rotate/ppyoloe_r

旋转框，是否能支持

weida008 commented

硬件型号：RTX4070
操作系统：Linux
网络名称：PP-PicoDet

lqsweet commented

硬件型号：RK3588
操作系统：linux
网络名称：PP-YOLOE-R
模型链接： https://github.com/PaddlePaddle/PaddleDetection/tree/release/2.7/configs/rotate/ppyoloe_r
详细描述：自己移值的不能正确预测角度