shuibinlong/ConvR

关于实验结果评估

Re-fused opened this issue · 5 comments

Re-fused commented

非常感谢，看了你写的代码收获颇多，但是在执行代码的时候，产生了一个疑惑，论文中ConvR模型在FB15k-237评分结果hit@10结果尾0.528，而执行你写的代码结果为0.586左右，效果非常的好，不清楚其中的原因。

shuibinlong commented

我这里只评测了尾实体（即固定「头实体」和「关系实体」，枚举「尾实体」计算ground truth的mrr和hit@n）个人猜测原文里的结果应该是既评测了「头实体」也评测了「尾实体」再以它们的均值当作指标，因为我之前研读ConvE的代码发现它是这样做的。

ps. 以上纯个人猜想哈，不排除可能还有其他原因😅

Re-fused commented

我这里只评测了尾实体（即固定「头实体」和「关系实体」，枚举「尾实体」计算ground truth的mrr和hit@n）个人猜测原文里的结果应该是既评测了「头实体」也评测了「尾实体」再以它们的均值当作指标，因为我之前研读ConvE的代码发现它是这样做的。

ps. 以上纯个人猜想哈，不排除可能还有其他原因😅

我测试一下，好像是这个原因，非常感谢

liuhongran626 commented

请问楼主有修改好评分代码嘛？

shuibinlong commented

请问楼主有修改好评分代码嘛？

最近比较忙并没有什么时间填坑= =，也许你可以提个pr贡献一下？🥹

XLJZT commented

我这里只评测了尾实体（即固定「头实体」和「关系实体」，枚举「尾实体」计算ground truth的mrr和hit@n）个人猜测原文里的结果应该是既评测了「头实体」也评测了「尾实体」再以它们的均值当作指标，因为我之前研读ConvE的代码发现它是这样做的。
ps. 以上纯个人猜想哈，不排除可能还有其他原因😅

我测试一下，好像是这个原因，非常感谢

你好 请问你测试之后达到了论文里的结果吗， 我这边加了头实体预测之后，几个评价指标结果相较于论文低了四五个点