THUDM/ComiRec

请问你们迭代了多少次才得到的论文里的效果?为什么迭代了30000次就开始效果下降了啊?

boluochuile opened this issue · 8 comments

请问你们迭代了多少次才得到的论文里的效果?为什么迭代了30000次就开始效果下降了啊?

Hi @boluochuile,

Thank you for your interest in our work. Could you please give more details about your experiment, e.g., which model on which dataset?

@cenyk1230 使用的是ComiRec-SA模型和book数据集,我并没有改动,直接拿着你们的代码跑的,而且结果也差很远 ,是因为我跑的次数太少了吗?因为到30000次的时候效果一直在下降,我就停了。

Hi @boluochuile,

你好,可以给出更详细的信息吗?你用的是什么命令来运行?迭代30k时候的训练loss、验证集的指标是多少?如果可以的话,可以等跑到80k~100k的时候再停止,然后贴一下tensorboard的截图。多谢!

好的,我这两天再跑一下看看

Hi @boluochuile,

我刚跑了一下,从tensorboard来看,ComiRec-SA模型在book数据集上至少需要350k的迭代次数才能与论文报告的结果相当。实际上,论文的实验中,book数据集跑了500k的迭代次数,相比350k还会有一点点提升。
image

@cenyk1230 非常感谢你的回复,我接下来会自己再做一次实验,谢谢。

想问一下,在线上部署这个模型,你们是迭代多少次,如果是迭代350K,那显然不是很现实

Hi @Aliang-CN,

模型都是离线训练的,并且可以使用多卡来训练。线上只是把训练好的模型用于serve。