训练过程

Question

训练过程

Martion-z opened this issue 3 years ago · 4 comments

您好，Class-Module我已经训练了两万多个Iteration了，但是验证的时候所有的图片还是都只进入一个分支，并没有平均进入三个分支，请问这样可能是什么原因造成的呢，（initial learning rate设置为10-3，the weights w1, w2, w3 are set to 2000,1, 6）

Answer 1 · 2021-08-25T10:57:44.000Z

首先要保证使用的是预训练过的支路。训练Class-Module学习率是2*10-4，500个Iteration应该就能分散到三个分支，

…

------------------ 原始邮件 ------------------ 发件人: "Xiangtaokong/ClassSR" ***@***.***>; 发送时间: 2021年8月25日(星期三) 晚上6:51 ***@***.***>; ***@***.***>; 主题: [Xiangtaokong/ClassSR] 训练过程 (#22) 您好，Class-Module我已经训练了两万多个Iteration了，但是验证的时候所有的图片还是都只进入一个分支，并没有平均进入三个分支，请问这样可能是什么原因造成的呢，（initial learning rate设置为10-3，the weights w1, w2, w3 are set to 2000,1, 6） — You are receiving this because you are subscribed to this thread. Reply to this email directly, view it on GitHub, or unsubscribe. Triage notifications on the go with GitHub Mobile for iOS or Android.

Answer 2 · 2021-08-25T12:30:34.000Z

好的，感谢，我调整学习率再试一下，我用的您实验提供的预训练过的支路。想再请问一下训练过程中class_loss和average_loss的正确的变化趋势应该是什么样的，我在我的训练过程中发现这两个loss好像并没有平稳的下降或者上升趋势

Answer 3 · 2021-08-25T14:53:56.000Z

嗯嗯，那样训练应该就没问题了。支撑文件里有曲线，还解释了具体loss值的含义（本身根据公式就能算），arxiv可以找到。

…

------------------ 原始邮件 ------------------ 发件人: "Xiangtaokong/ClassSR" ***@***.***>; 发送时间: 2021年8月25日(星期三) 晚上8:30 ***@***.***>; ***@***.******@***.***>; 主题: Re: [Xiangtaokong/ClassSR] 训练过程 (#22) 好的，感谢，我调整学习率再试一下，我用的您实验提供的预训练过的支路。想再请问一下训练过程中class_loss和average_loss的正确的变化趋势应该是什么样的，我在我的训练过程中发现这两个loss好像并没有平稳的下降或者上升趋势 — You are receiving this because you commented. Reply to this email directly, view it on GitHub, or unsubscribe. Triage notifications on the go with GitHub Mobile for iOS or Android.

Answer 4 · 2021-12-24T07:40:53.000Z

首先要保证使用的是预训练过的支路。训练Class-Module学习率是210-4，500个Iteration应该就能分散到三个分支，
…
------------------ 原始邮件 ------------------ 发件人: "Xiangtaokong/ClassSR" @.>; 发送时间: 2021年8月25日(星期三) 晚上6:51 @.>; @.**>; 主题: [Xiangtaokong/ClassSR] 训练过程 (#22) 您好，Class-Module我已经训练了两万多个Iteration了，但是验证的时候所有的图片还是都只进入一个分支，并没有平均进入三个分支，请问这样可能是什么原因造成的呢，（initial learning rate设置为10-3，the weights w1, w2, w3 are set to 2000,1, 6） — You are receiving this because you are subscribed to this thread. Reply to this email directly, view it on GitHub, or unsubscribe. Triage notifications on the go with GitHub Mobile for iOS or Android.

您好，我在使用您提供的CARN训练Class-CARN。想问下这个迭代次数也是差不多500吗？我目前训练iter大概在30左右的时候能落入两个分支，40左右就都落入了最小的分支了。