hjptriplebee/VGG19_with_tensorflow

vgg19 loss显示显存不足

IPNUISTlegal opened this issue · 6 comments

您好,我在CSDN看到您的链接。
我在我的GAN网络中加入vgg19 loss,特征通道为con4_4。
结果电脑显示显存不足,显卡1070ti。
不知道您有没有什么好的建议?在con5_4会不会好点?
感谢

不太明白你的意思,什么叫GAN网络加入vgg的loss?loss不是一个层,怎么加入呢?

GAN有损失函数,vgg有那种训练好的模型,作为正则项加入到GAN损失函数当中

训练好的模型和正则项没有什么直接的联系吧,还是不太明白你说的正则项是什么,正则不就是损失函数上的一个范数吗?和训练好的模型有什么关系?

是我的表达不清楚。举个例子,2018的CartoonGAN 中Content loss是预训练好的vgg的模型,作为正则项,加到了最终的GAN损失函数上。虽然我现在不在gan损失函数上加vgg的loss,但是我还是蛮想知道加上这个正则项,会给网络带来多大的计算负担?谢谢

你说的那篇文章,我刚才扫了一眼公式,那里面的vgg不是指把模型加在损失函数上了,是指vgg的输出。损失函数是根据网络的输出和真实标记计算的,不是一个模型,你可以把预训练的vgg作为特征网络,但是特征网络和你采用的损失函数没有直接联系。只能说你的loss加了利用vgg计算的项作为正则。如果只是使用vgg的输出,几乎不会增加计算负担,因为参数数量没有发生变化。显存不足建议:先查看GPU显存是否全部释放,减小batchsize,如果不行只能使用更小的网络。vgg19如果都没办法负载,那么这个显卡不适合用来做科研。

好的,感谢你写了这么长的建议,可能是我在GitHub上见过最长的回答了,谢谢啦