量化后变得更慢了?
Closed this issue · 4 comments
sonixixi commented
量化后变得更慢了?
sonixixi commented
在 armv7 上 速度变慢了两倍
BUG1989 commented
@stupidchenchen 用于部署的框架正在努力重构中,armv7a框架已经支持较好了,新增以下特性:
- 采用了权重分通道量化,精度更高;
- conv3x3s1采用了int8 winograd F(2,3),虽然部分尺寸还是没有float32 winograd F(2,3)快(我会竭尽全力超过它,但是都是业余时间开发,摊手.jpg),但是比目前master分支中的还是快一些;
- 其他尺寸卷积的int8使用im2col+sgemm,目前master中是naive c实现的;
- 本次重构的初衷是实现int8 without overflow,即用精度与x86 simulator完全一致,该功能已实现,精度可放心使用;
- arm64-v8a正在开发中……
- 想不起来了……
BUG1989 commented
The latest pr has been done.Add the int8 winograd F(4,3) implement.
SpeedUp.....www
add int8 winograd F(4,3) with neon assembly optimization