对比实验里面的指标和原论文指标不一致

Question

对比实验里面的指标和原论文指标不一致

wcnm231 opened this issue 4 months ago · 10 comments

你好我在看对比实验的时候发现有些对比模型的精度和原论文不一致比如CoSeRec，CL4Rec，这样的对比是否合理呢，您是把要比较的那些论文代码按照原始论文参数设计在自己环境下重新跑了一遍然后按照这个结果来对比的吗

Answer 1 · 2024-08-05T13:31:26.000Z

你好，非常感谢你对我们论文工作的关注，这里关于你提到的结果不一致，主要原因是因为考虑采用不同显卡进行训练会导致效果波动，因此我们根据原始作者论文提供的参数在我们的机器上重新跑了一遍，作者如果有提供pt，我们会比较原作者提供的pt所得测试结果与我们自己训练得到的结果，取两者中较高的作为论文中报告结果。同时为了比较各个baseline结果时候更加公平，我们把所有有开源代码的基线模型都跑了一遍。

…

---原始邮件--- 发件人: ***@***.***> 发送时间: 2024年8月4日(周日) 晚上8:14 收件人: ***@***.***>; 抄送: ***@***.***>; 主题: [QinHsiu/ICSRec] 对比实验里面的指标和原论文指标不一致 (Issue #4) 你好我在看对比实验的时候发现有些对比模型的精度和原论文不一致比如CoSeRec，CL4Rec，这样的对比是否合理呢，您是把要比较的那些论文代码按照原始论文参数设计在自己环境下重新跑了一遍然后按照这个结果来对比的吗 — Reply to this email directly, view it on GitHub, or unsubscribe. You are receiving this because you are subscribed to this thread.Message ID: ***@***.***>

Answer 2 · 2024-08-18T14:28:35.000Z

感谢你的回复，但是我发现模型IOCRec的实验指标似乎与原文差距比较大，这里是什么原因呢

Answer 3 · 2024-08-19T14:19:19.000Z

你好，这个主要是因为IOCRec在评估的时候使用了采样99个负样本+1个正样本来进行预测（候选集大小为100），其HR@100是为1的，至今已经有大量论文指出该方法是有偏差的，采样方法的不同导致不同模型结果偏差大，因此为了公平比较所有模型的效果，我们采用全量预测也就是从所有候选集（用户未交互的项目）中预测结果，我们在预测板块对为什么使用该方法进行预测进行了说明，并引用了参考文献。如果你感兴趣可以去看看下面这几篇文章[1][2]。最后，非常感谢你对我们工作的关注！ [1] Walid Krichene and Steffen Rendle. 2020. On Sampled Metrics for Item Recommendation. In KDD. 1748–1757. [2] Xiang Wang, Xiangnan He, Meng Wang, Fuli Feng, and Tat-Seng Chua. 2019. Neural graph collaborative filtering. In SIGIR. 165–174

…

---原始邮件--- 发件人: ***@***.***> 发送时间: 2024年8月18日(周日) 晚上10:28 收件人: ***@***.***>; 抄送: ***@***.***>;"State ***@***.***>; 主题: Re: [QinHsiu/ICSRec] 对比实验里面的指标和原论文指标不一致 (Issue #4) 感谢你的回复，但是我发现模型IOCRec的实验指标似乎与原文差距比较大，这里是什么原因呢 — Reply to this email directly, view it on GitHub, or unsubscribe. You are receiving this because you modified the open/close state.Message ID: ***@***.***>

Answer 4 · 2024-08-20T13:06:13.000Z

感谢您的回复。您的意思是说一般测试时使用的是一个正样本+99个负样本这种方法存在偏差，因此测试时使用的是用户所有未交互过项目充当测试集，但是我发现很多模型都是说倒数第一个项目用来测试，所以在测试的时候是一个正样本+用户所有未交互的项目当做测试吗，您的对比实验的模型中都是采用这种方法吗，还是说只有IOCRec模型采用了这种方法

Answer 5 · 2024-08-20T14:00:04.000Z

你好，因为有论文指出了这种采样方法的局限性，因此最近的一些方法（CoSeRec, DuoRec, ICLRec等）都是采用的全量预测，因为我们有借鉴上面文章的一些思路，并且为了公平比较，因此使用的是全量预测的方法。

…

---原始邮件--- 发件人: ***@***.***> 发送时间: 2024年8月20日(周二) 晚上9:06 收件人: ***@***.***>; 抄送: ***@***.***>;"State ***@***.***>; 主题: Re: [QinHsiu/ICSRec] 对比实验里面的指标和原论文指标不一致 (Issue #4) 感谢您的回复。您的意思是说一般测试时使用的是一个正样本+99个负样本这种方法存在偏差，因此测试时使用的是用户所有未交互过项目充当测试集，但是我发现很多模型都是说倒数第一个项目用来测试，所以在测试的时候是一个正样本+用户所有未交互的项目当做测试吗，您的对比实验的模型中都是采用这种方法吗，还是说只有IOCRec模型采用了这种方法 — Reply to this email directly, view it on GitHub, or unsubscribe. You are receiving this because you modified the open/close state.Message ID: ***@***.***>

Answer 6 · 2024-08-23T02:02:53.000Z

非常感谢您耐心回复，您的意思是说最近的一些方法（CoSeRec, DuoRec, ICLRec等在公开代码中采用的都是全量预测，而不是在您自己的实验中对这些模型进行全量预测改动吗

Answer 7 · 2024-08-23T13:18:37.000Z

你好，是的。

…

---原始邮件--- 发件人: ***@***.***> 发送时间: 2024年8月23日(周五) 上午10:03 收件人: ***@***.***>; 抄送: ***@***.***>;"State ***@***.***>; 主题: Re: [QinHsiu/ICSRec] 对比实验里面的指标和原论文指标不一致 (Issue #4) 非常感谢您耐心回复，您的意思是说最近的一些方法（CoSeRec, DuoRec, ICLRec等在公开代码中采用的都是全量预测，而不是在您自己的实验中对这些模型进行全量预测改动吗 — Reply to this email directly, view it on GitHub, or unsubscribe. You are receiving this because you modified the open/close state.Message ID: ***@***.***>

Answer 8 · 2024-08-24T13:43:47.000Z

好的，非常感谢，请问可以分享一下在对比实验中使用的一些未公开的代码吗，比如CL4Rec模型，以及在IOCRec模型中使用全量预测改动后模型代码，邮件2739009686@qq.com，最后，再次感谢您的耐心回复，使我学到了很多东西

Answer 9 · 2024-08-25T07:52:41.000Z

你好，大部分baseline模型都可以在这里找到，https://github.com/QinHsiu/MCLRec/blob/main/baseline.md，
对于IOCRec，作者有提供全量预测的参数设置，在第46行， parser.add_argument('--eval_mode', default='full', help='[uni100, pop100, full]')，选择full就行。

Answer 10 · 2024-08-26T14:00:32.000Z

感谢你的回复，我在看代码的时候遇到了一个问题，在计算各个指标精度的时候，得出的预测列表pred_list应该是得分排名前n的项目对应的索引,索引时从0开始的，而项目的id是从1开始的，answer对应的也是项目id,预测列表中对应的是项目索引，这样计算是不是有问题呢，还是说我理解的有错误,我思索了很久没有想明白