nengwp/Lion-vs-Adam

能否加上最近出的sophia对比?

Closed this issue · 1 comments

能否加上最近出的sophia对比?

目前没有这个计划,因为sophia是基于二阶梯度的,这与Adam,SGD,Lion等一阶梯度算法具有较大差异,并无直接比较意义!