Cannot reproduce the accuracy in the paper
Closed this issue · 7 comments
我按照默认参数，先经过预训练stage0静态图片，stage1bl30k，然后经过youtube和davis的主训练，最后按照默认参数测试只得到85.6%的精度，比论文中报告的86.1%低0.6%，麻烦问下这可能是什么因素导致的呢？
个人认为存在一些抖动是正常的，我的实验中，不经过预训练只训练stage2可以复现84.5的结果。
另外，可以问一下，楼主训练使用的设备和训练各个阶段的耗时吗。
个人认为存在一些抖动是正常的，我的实验中，不经过预训练只训练stage2可以复现84.5的结果。 另外，可以问一下，楼主训练使用的设备和训练各个阶段的耗时吗。
我只训练stage02复现结果是83.9%，我用2卡1080ti，耗时没有具体记录，大概3轮得一周多吧至少。
个人认为存在一些抖动是正常的，我的实验中，不经过预训练只训练stage2可以复现84.5的结果。 另外，可以问一下，楼主训练使用的设备和训练各个阶段的耗时吗。
可以加v详聊，我邮箱dangjsh@mail2.sysu.edu.cn
个人认为存在一些抖动是正常的，我的实验中，不经过预训练只训练stage2可以复现84.5的结果。 另外，可以问一下，楼主训练使用的设备和训练各个阶段的耗时吗。
我只训练stage02复现结果是83.9%，我用2卡1080ti，耗时没有具体记录，大概3轮得一周多吧至少。
2卡1080ti显存有点太小了，现在VOS还是比较吃卡的。如果只是2*1080ti的话，这点衰减真不算大了。
个人认为存在一些抖动是正常的，我的实验中，不经过预训练只训练stage2可以复现84.5的结果。 另外，可以问一下，楼主训练使用的设备和训练各个阶段的耗时吗。
我只训练stage02复现结果是83.9%，我用2卡1080ti，耗时没有具体记录，大概3轮得一周多吧至少。
2卡1080ti显存有点太小了，现在VOS还是比较吃卡的。如果只是2*1080ti的话，这点衰减真不算大了。
好吧，那我用4卡1080ti试试。
Fluctuations in performance exist (std in s03: https://github.com/hkchengrex/XMem/blob/main/docs/TRAINING.md#outputs). The performance might also be different if/when you use a different batch size.
You can also try model selection -- test the last few models and use the best one (also documented in https://github.com/hkchengrex/XMem/blob/main/docs/TRAINING.md#outputs).
Related: #32
Continue in #60 if needed