CLUEbenchmark/CLUE

cmrc排行榜如何查看F1分值

conan1024hao opened this issue · 3 comments

conan1024hao commented

您好，我注意到cmrc2018的排行榜只会显示EM的分数，请问有办法查看F1的分数吗？

brightmart commented

Hi，阅读理解上述指标中F1和EM共存的情况下，取EM为最终指标。
如果是验证集/开发集，可以参考一下这个脚本：https://github.com/CLUEbenchmark/CLUE/blob/master/baselines/models_pytorch/mrc_pytorch/run_mrc.py