thuiar/MMSA

关于训练结果指标的一些问题

Opened this issue · 1 comments

1,请问Has0_acc_2就是指的neg/notneg训练结果,Non0_acc_2指的是neg/pos的训练结果吗
2,Multi_acc_5,Multi_acc_7分别指的是什么意思啊?是情绪emotion的标签吗?如果是的话但我看mosei论文上面也只有6个标签:Happiness Sadness Anger Disgust Surprise Fear

  1. Has0_acc_2 是指在测试时将回归标签、模型预测用 neg/non-neg 转化为分类问题,计算的二分类准确率(non-neg 包含所有≥0标签的样本),Non0_acc_2是指在测试时将回归标签、模型预测用 neg/pos 转化为分类问题,计算的二分类准确率(pos 包含所有 >0 标签的样本, 标签为0的样本不参与分类指标的计算)。
  2. Multi_acc_5,Multi_acc_7分别指5分类、7分类准确率,其对应的物理意义不是很直接,可以对照具体实现来理解。

以上指标均是参考经典MSA文献的开源代码进行的实现,如 MulT 里面本身的实现方式,https://github.com/yaohungt/Multimodal-Transformer/blob/a670936824ee722c8494fd98d204977a1d663c7a/src/eval_metrics.py#L37