Tencent/ncnn

使用官方的权重和速度评测工具在X86上面,不同模型量化前后的速度提升很大

Closed this issue · 4 comments

cslvjt commented

detail | 详细描述 | 詳細な説明

在cpu:Intel(R) Xeon(R) Platinum 8255C CPU @ 2.50GHz,centos机器上,利用ncnn官方的参数和benchncnn,发现:不同模型对于量化的速度提升并不明显。像是squeezenet、mobilenet这些模型量化后速度降低。反而是resnet18,resnet50,vgg16量化到int8之后,速度有所提升
企业微信截图_66b75113-243c-4016-bd03-02ea3ba2571d

cslvjt commented

ncnn版本20240820

相关的算子没实现,或者芯片没有对应的加速指令集

nihui commented

关注ncnn github,后面再优化下

cslvjt commented

好的,谢谢