optimizerを新しいものに変更する

[Yuki-Tanaka-33937424]

AdaBeliefなどに変えてみる。

---

実験によりschedulerがある時はAdamが一番良いことがわかったため、Adamのままにする。

[Yuki-Tanaka-33937424]

AdamからAdaBeliefに変更。
意外と変わらなかった。CVもLBもほぼ全く同じ。
仮説: finetuneからのスタートではあまり学習上の難所はない。
AdaBeliefは最初の学習率がwarmupしていくため、最初の学習が遅かった。
ということは、warmupがない他のoptimizerであれば効くかも？

[Yuki-Tanaka-33937424]

AdaBeliefにはwarmupはない。それはRAdamの話。
そもそもschedulerがついてる時点でwarmupはされてるから、optimizerの良し悪しが反映されにくくなっている可能性が高い。