supersymmetry-technologies/BBT-FinCUGE-Applications

关于6个数据集的评测准则

Opened this issue · 2 comments

感谢您开源的数据!

在您的论文中好像没有很详细的数据评测的细节。比如:

  1. FinNA是使用的ROUGE-1/2/3/4/L中的哪一个呢?
  2. FinNL的F1-score指的是uni-gram-F1还是将文本转换为数字标签计算的分类macro-f1/micro-f1?
  3. FinQA用的F1-Score是uni-gram-F1吧?
  4. FinNSP除了要判断是否存在负面消息(分类)还要检测出对象实体,这里的F1是怎么计算的呢?

感谢您的时间!

ysf-gd commented

请问你可以用用这个模型吗?

请问你可以用用这个模型吗?

什么叫用用这个模型?我问这些问题是需要使用数据集评测模型,自然需要知道他们使用的具体评测标准,而他们的论文又写的不够清楚,所以想问一下