CLUEbenchmark/CLUE

你好,cmrc数据集的test.json没有答案,无法利用官方的评估脚本计算准确率

805934132 opened this issue · 1 comments

你好,cmrc数据集的test.json没有答案,无法利用官方的评估脚本计算准确率

你好,cmrc数据集的test.json没有答案,如下格式,无法利用官方的评估脚本计算准确率

"qas": [
{
"question": "罗亚尔港号是什么级别的导弹巡洋舰?",
"id": "TEST_0_QUERY_0",
"answers": [
{
"text": "FAKE_ANSWER_1",
"answer_start": -1
},
{
"text": "FAKE_ANSWER_2",
"answer_start": -1
},
{
"text": "FAKE_ANSWER_3",
"answer_start": -1
}
]
}