关于运行效果和xvlm训练的一些问题？

[Hezhexi2002]

@7eu7d7 大佬，你好，之前看到您这个repo感觉非常有意思，也在自己电脑上跑了一下，不过感觉效果不太好，可能是我的使用方法有问题，不知道模型到底识别到哪句话才会发起攻击，后来我又看了看voice_play.py，发现模型输入的prompt应该是类似于“使用战术1攻击丘丘人”这种，不过很多时候模型已经识别到了语音并打印出来了文本却没有攻击的动作，偶尔才能攻击，我也不知道这是为什么，可能是我使用的xvlm的预训练模型权重有问题？因为在您的仓库里并没有提供xvlm的预训练权重所以我是到xvlm官方repo下载的权重，不过我现在其实主要想请教您的是如何使用xvlm来训练自己的数据集，我看您的README.md也说到是通过目标检测模型先生成伪标签然后作为xvlm的输入，但是我仍然不太清楚xvlm的数据集组织格式，所以想向您请教一下，希望大佬解惑😂

[wizardt]

这repo也太有意思了，“使用战术1攻击丘丘人”有点苛刻，如果是“Q”， “E”，“左闪避”，这种是不是更容易