Ghost-VGG-16和Ghost-ResNet-56的训练参数
Closed this issue · 6 comments
作者你好，感谢源码分享。
我用ghostmodule替换了VGG16中的所有conv，在cifar10上训练，但精度掉了2个百分点，能请教下Ghost-VGG-16和Ghost-ResNet-56在训练时的参数设置么？
你的参数设置是怎么样的？
我建议400 epochs, lr=0.1, 在200,300,375epoch时乘以0.1，weight decay在1e-4, 1e-5调一调
@iamhankai 感谢你的回答。我按照你的参数设置还是只达到92.5%的精度，以下是我的ghostmodule引入：
注释部分为原来的conv层，是我的ghost模块引用有什么问题么，或者您有什么特别的初始化参数权重么？
为什么GhostModule的kernel_size=1？应该和原Conv一样为kernel_size=3吧？
@iamhankai 感谢指正。修改后精度恢复到93.5左右，但还有个疑问：我的baseline的训练参数是160 epochs，lr 0.1，在80 ，120epoch乘0.1，其余参数和你建议的一致；而我引入ghostmodule后按照baseline的参数训练160epochs，精度只有92.5左右，训练400个epochs达到93.5左右。是因为引入了ghostmodule导致了收敛变慢么？
你的baseline模型160epochs 精度能到多少？参数量更少的模型确实需要更多epoch去拟合。
@iamhankai 我baseline 160个epochs能收敛，精度93.5左右，同样参数训练160epochs引入ghostmodule达不到这个精度。根据你的参数建议400个epochs能达到。可能是你指出的参数量更少的模型确实需要更多epoch去拟合的原因。感谢你的回答。