达不到论文效果

[libeibei95]

我直接下载代码和数据，运行了readme.md 中的指令 python src/train.py --dataset book --model_type ComiRec-SA, 得到的效果为

valid recall: 0.082050, valid ndcg: 0.128702, valid hitrate: 0.163897, valid diversity: 0.220184
test recall: 0.080504, test ndcg: 0.127190, test hitrate: 0.161744, test diversity: 0.221127

与原文中的效果出入很大，

请问是可能是什么问题呢？

[cenyk1230]

Hi @libeibei95, 我猜测可能是提前结束了训练，你把patience改大一点试试呢？另外，可否给一下tensorboard的截图。

[libeibei95]

Hi @libeibei95, 我猜测可能是提前结束了训练，你把patience改大一点试试呢？另外，可否给一下tensorboard的截图。

感谢回复，另外想问下 batch_size 是怎么选择的呢？我尝试在 book 上改了 batch_size =1024, 指标提升很显著

valid recall: 0.097471, valid ndcg: 0.151422, valid hitrate: 0.191578, valid diversity: 0.236192
test recall: 0.095441, test ndcg: 0.148853, test hitrate: 0.188381, test diversity: 0.235222

[cenyk1230]

Hi @libeibei95, batch_size这个我没调过，取了一个固定值。从你的结果看起来确实影响还挺大的。。

[libeibei95]

作者有试过对一个用户序列只学习一个兴趣向量吗？我在 book 数据集上跑了一下，似乎比多兴趣效果好（SA版本的多兴趣）；另外，淘宝线上的是 DR 版本还是 SA 版本呢？Case Study 里的呢？

谢谢！

[outside-BUPT]

我运行指令 python src/train.py --dataset book --model_type ComiRec-SA, 得到的效果为
valid recall: 0.079705, valid ndcg: 0.048730, valid hitrate: 0.159276, valid diversity: 0.200240
test recall: 0.077162, test ndcg: 0.047226, test hitrate: 0.153991, test diversity: 0.200762

特别是ndcg远低于论文提供的指标，请问这是什么原因呢

[cenyk1230]

我运行指令 python src/train.py --dataset book --model_type ComiRec-SA, 得到的效果为
valid recall: 0.079705, valid ndcg: 0.048730, valid hitrate: 0.159276, valid diversity: 0.200240
test recall: 0.077162, test ndcg: 0.047226, test hitrate: 0.153991, test diversity: 0.200762

特别是ndcg远低于论文提供的指标，请问这是什么原因呢

关于ndcg的计算方式有一些变化。在这里有写：https://github.com/THUDM/ComiRec#common-issues