nengwp/Lion-vs-Adam

能否加上最近出的sophia对比？

Closed this issue · 1 comments

liujuncn commented
能否加上最近出的sophia对比？
nengwp commented

目前没有这个计划，因为sophia是基于二阶梯度的，这与Adam，SGD，Lion等一阶梯度算法具有较大差异，并无直接比较意义！