CLUEbenchmark/FewCLUE

人工标注eprstmt 得分86.59，数据集质量堪忧。。

lindabigwheel opened this issue · 3 comments

lindabigwheel commented

eprstmt分析badcase， 发现数据集质量不靠谱， 于是众包标注了下test数据集， 很多是模棱两可， 提交 eprstmt 得分86.59， 搞笑了。。

Human performance 说明的不是任务难度、或算法天花板， 而是说明数据集质量不行啊 ， 刷这个榜没太大意义。。

xiaojinglu commented

你好，可以方便提供您这边标注的语料结果给我们么？我们可以参考下具体看下哪些case比较模棱两可～

brightmart commented

感谢反馈问题。我们这边测试出human performance的准确率是90%，看上去当前最好的模型解决这个人类的效果。

lindabigwheel commented
  1. 每个任务的human performance， 是有几个标注人员 标注了多少数据 统计出来的？ 标注结果的细节能否放出来一下？