Cccccczh404/H-SAM

H-SAM是否对超参很敏感

Opened this issue · 3 comments

ShChen233 commented

我基于synapse的10%数据集进行训练，发现调整了batch_size和learning rate之后，在测试集上的performance可以差到1-2个点。（不知道是否真的是这样）

image
image

xmeimeimei commented

我基于synapse的10%数据集进行训练，发现调整了batch_size和learning rate之后，在测试集上的performance可以差到1-2个点。（不知道是否真的是这样）

image image

你好 我在复现的过程中 发现无法保持完全重复 每次训练过程都带点随机性 请问你也有遇到这样的问题吗 还是说我的复现步骤有问题呢

ShChen233 commented

我基于synapse的10%数据集进行训练，发现调整了batch_size和learning rate之后，在测试集上的performance可以差到1-2个点。（不知道是否真的是这样）
image image

你好 我在复现的过程中 发现无法保持完全重复 每次训练过程都带点随机性 请问你也有遇到这样的问题吗 还是说我的复现步骤有问题呢

感觉可能确实是有随机性的，猜测是因为CMAttn模块中带有高斯噪声的缘故。我还没有实验验证

xmeimeimei commented

我基于synapse的10%数据集进行训练，发现调整了batch_size和learning rate之后，在测试集上的performance可以差到1-2个点。（不知道是否真的是这样）
image image

你好 我在复现的过程中 发现无法保持完全重复 每次训练过程都带点随机性 请问你也有遇到这样的问题吗 还是说我的复现步骤有问题呢

感觉可能确实是有随机性的，猜测是因为CMAttn模块中带有高斯噪声的缘故。我还没有实验验证

您好 我还有一个疑问是 如果代码有随机性的话 如何对比所加模块的有效性呢