MCG-NJU/MixFormerV2

推理结果误差较大

MrNeoBlue opened this issue · 3 comments

MrNeoBlue commented

Hi，there
按照tracking/test_mixformer.sh脚本的指令在got10k和lasot上测试的跟踪结果都是无效。
加载的是mixformer2_base.pth.tar权重，网络选择的是mixformer2_vit_online，参数选择288_depth8_score的配置。在A100单卡上面进行推断，请问是使用方法不对吗？

MrNeoBlue commented

从A100服务器更换到4090上进行推断，不像之前那样的错误，但是用下载的mixformerv2_base.pth.tar的权重无法复现结果。
Reporting results over 280 / 280 sequences

lasot | AUC | OP50 | OP75 | Precision | Norm Precision |
MixFormerDeit | 39.71 | 41.87 | 30.86 | 34.34 | 40.20 |

songtianhui commented

您好，我在1080ti上测试结果是正常的。您再尝试一下其他机器，我也尽量找4090或a100机器测试一下。
或者您可以再多附上一些环境信息和运行log？

MrNeoBlue commented

您好，我在1080ti上测试结果是正常的。您再尝试一下其他机器，我也尽量找4090或a100机器测试一下。 或者您可以再多附上一些环境信息和运行log？

我后来重新配置环境更新到torch 1.7.1 with cuda 11.0，结果就好一些.
lasot | AUC | OP50 | OP75 | Precision | Norm Precision |
MixFormerDeit | 69.95 | 81.65 | 68.83 | 75.11 | 79.69 |

比CPU 结果低近 1 个点。GPU 和 CPU 的结果会有所不同吗？