persistforever/cifar10-tensorflow

很不错的repo

Opened this issue · 0 comments

很不错的repo,展示了不同模型优化技术的作用。
最近也是在跑CIFAR10的任务,不过用的是pytorch。
然后我的疑问是resnet系列的准确率是不是偏低一点?理论上resnet系列的准确率应该比VGG16好好一点的。
我这边跑的VGG16 的准确率可以到达93.49%,超过了你展示的resnet结果。我在想是不是resnet全部潜能没有发挥出来?
我的实验设置如下:
结构是官方VGG16,有加BN,Batch大小500,fc加dropout
SGD,余弦学习率,lr初始值0.1,半衰周期1200,最小学习率0.001。
权重衰减5e-4
输入图像padding再随机裁剪4像素,没有做白化。加水平镜像翻转