video-text retrieval，请教在DiDeMo数据集复现结果的问题

[SuperHalo]

您好，我加载您在didemo数据集上微调的模型参数（ret_didemo_l16_25m.pth）在didemo测试集上复现结果，得到的检索结果如下图：

与您论文中的结果不一致，

由于基于目前的代码能够在msrvtt数据集上复现出跟论文一致的结果，所以在模型代码方面应该是没有问题的。因此我认为可能是在参数设置方面与您的不一致，导致最终结果不一致，这是我的参数设置
l16.json
能否麻烦您帮忙看看是否存在跟您不一致的地方，或者是否有其他我可能遗漏的地方？

非常感谢！

[Andy1621]

您好，您的结果看起来是大致正常的，输出结果中txt_r1为V2T @1，img_r1为T2V @1。结果差异可能是测试的文件，您使用的是test集，而我默认配置中使用的是val集，这里各个论文选择有所不同，选定一个论文的baseline，使用同样的test或者val对比就可以

[SuperHalo]

您好，感谢您的及时解答！您的意思是，您论文中展示的是验证集上的检索结果对吗？我在val集上也进行了测试，结果也跟您论文中的结果仍然不太一样。

[Andy1621]

时间有点久远，印象有点偏差了，我回看了一下log，当时应该val和test都测了，您可以对比log看一下config，log见这里。

[SuperHalo]

我对比了一下log文件，发现您的val和test集的数量和我在VINDLU上下载的不一样，更新成您的json文件，基本能跑出跟论文一样的结果。


问题已解决，非常感谢您的帮助！