BUG1989/caffe-int8-convert-tools

量化后变得更慢了?

Closed this issue · 4 comments

量化后变得更慢了?

在 armv7 上 速度变慢了两倍

@stupidchenchen 用于部署的框架正在努力重构中,armv7a框架已经支持较好了,新增以下特性:

  1. 采用了权重分通道量化,精度更高;
  2. conv3x3s1采用了int8 winograd F(2,3),虽然部分尺寸还是没有float32 winograd F(2,3)快(我会竭尽全力超过它,但是都是业余时间开发,摊手.jpg),但是比目前master分支中的还是快一些;
  3. 其他尺寸卷积的int8使用im2col+sgemm,目前master中是naive c实现的;
  4. 本次重构的初衷是实现int8 without overflow,即用精度与x86 simulator完全一致,该功能已实现,精度可放心使用;
  5. arm64-v8a正在开发中……
  6. 想不起来了……

ncnn int8 new implement pr
完整的repo

@BUG1989 抱紧大佬大腿

The latest pr has been done.Add the int8 winograd F(4,3) implement.
SpeedUp.....www
add int8 winograd F(4,3) with neon assembly optimization