how to calculate action matching score ？？🤔️
Closed this issue · 3 comments
jiennyteng commented
how to calculate action matching score ？？🤔️
jiennyteng commented
你好，我在代码中好像没有看到evalution 的过程，想了解一下文章中执行指令的action 匹配度具体是怎么计算的呢？
我的理解predict后，cur_anno变量中的‘action predict’ 表示模型预测的下一步的action 类型，和具体描述。step_data中的result_action_type和result_action是gt，那么怎么衡量action的匹配度呢（both the action type and the action
details）感觉文章中也没有具体的公式描述
IMNearth commented
你好，由于开放api的模型在预测具体的边界框时正确率较低，我们在readme中有提到，这里计算的是动作类型的预测准确率。对于在具体的GUI导航任务上经过fine-tune的模型，比如CogAgent和Auto-UI，我们计算的是action-matching-score，也就是动作类型和动作细节都正确的准确率。你可以在我们最新版论文的附录A.3中找到细节。评测代码我们后续会更新到该仓库中。
IMNearth commented
评测代码已开源~