zjunlp/Relphormer

链接预测在FB15k-237数据集上跑出来的MRR比论文中低很多

TTYee opened this issue · 9 comments

TTYee commented

你好，我用你们提供的checkpoint和masked邻居文件txt在FB15k-237数据集上，跑了15epoch但是结果要比论文中差挺多，请问是epoch太少了吗？需要跑了多少个epoch才能达到论文中的结果呢？
image

zxlzr commented

非常抱歉稍等，我们检查下超参数，马上回复您

WEIYanbin1999 commented

您好，请问这里有更新了吗，我也遇到了类似的情况

zxlzr commented

您好，请问这里有更新了吗，我也遇到了类似的情况

您好，您可以加下微信bizhen_zju我们会协助您解决。

5zongyuan commented

我也是呢orz..........
image

zxlzr commented

您好，您可以加下微信bizhen_zju我们会协助您解决。

bizhen46766 commented

你好呀~ 实在是抱歉 我们在精简代码的时候可能误删了关键步骤 之后我们会复现实验部分 对整个项目进行更新

bizhen46766 commented

您好项目已经更新呀 目前最新fb15k-237的运行结果如下:

hits1 hits10 mrr
0.28 0.54 0.37

我们对代码做了整体的合并和优化 结果和原来有差异 mrr值基本一致 如果后续有问题我们也会继续修改迭代

  • 👍1
zxlzr commented

您好，如果您有任何问题欢迎继续提issue

Eiard commented

请问一下，能再提供一下最好的超参吗？