vgg19 loss显示显存不足
IPNUISTlegal opened this issue · 6 comments
IPNUISTlegal commented
您好,我在CSDN看到您的链接。
我在我的GAN网络中加入vgg19 loss,特征通道为con4_4。
结果电脑显示显存不足,显卡1070ti。
不知道您有没有什么好的建议?在con5_4会不会好点?
感谢
hjptriplebee commented
不太明白你的意思,什么叫GAN网络加入vgg的loss?loss不是一个层,怎么加入呢?
IPNUISTlegal commented
GAN有损失函数,vgg有那种训练好的模型,作为正则项加入到GAN损失函数当中
hjptriplebee commented
训练好的模型和正则项没有什么直接的联系吧,还是不太明白你说的正则项是什么,正则不就是损失函数上的一个范数吗?和训练好的模型有什么关系?
IPNUISTlegal commented
是我的表达不清楚。举个例子,2018的CartoonGAN 中Content loss是预训练好的vgg的模型,作为正则项,加到了最终的GAN损失函数上。虽然我现在不在gan损失函数上加vgg的loss,但是我还是蛮想知道加上这个正则项,会给网络带来多大的计算负担?谢谢
hjptriplebee commented
你说的那篇文章,我刚才扫了一眼公式,那里面的vgg不是指把模型加在损失函数上了,是指vgg的输出。损失函数是根据网络的输出和真实标记计算的,不是一个模型,你可以把预训练的vgg作为特征网络,但是特征网络和你采用的损失函数没有直接联系。只能说你的loss加了利用vgg计算的项作为正则。如果只是使用vgg的输出,几乎不会增加计算负担,因为参数数量没有发生变化。显存不足建议:先查看GPU显存是否全部释放,减小batchsize,如果不行只能使用更小的网络。vgg19如果都没办法负载,那么这个显卡不适合用来做科研。
IPNUISTlegal commented
好的,感谢你写了这么长的建议,可能是我在GitHub上见过最长的回答了,谢谢啦