机器阅读理解(Machine Reading Comprehension)是指让机器阅读文本,然后回答和阅读内容相关的问题。阅读理解是自然语言处理和人工智能领域的重要前沿课题,对于提升机器智能水平、使机器具有持续知识获取能力具有重要价值,近年来受到学术界和工业界的广泛关注。
本次竞赛设立了面向观点型问题的机器阅读理解任务,旨在为研究者提供开放的学术交流平台,进一步提升阅读理解的研究水平,推动语言理解和人工智能领域技术和应用的发展。面向观点型问题的机器阅读理解源于真实的应用场景:在智能搜索问答等产品中,针对用户输入的观点型问题,搜索引擎首先会检索相关候选文档,然后从候选文档中抽取出能够回答用户问题的答案段落摘要,最后给出答案段落摘要所包含的是非观点。本次任务聚焦于预测答案段落摘要中所表述的是非观点极性。
在本次比赛中,我们使用了目前效果比较好的预训练模型,分别是 RoBERTa, ERNIE,BERT,作为我们的分类模型,首先我们将处理好的语料分别输入到三个 模型,在预训练的基础上进行训练,将训练好的模型对测试集预测,得到测试集的概率分布,之后将三个模型所得到的概率文件进行融合,在本次比赛中我们采 用两种融合方式,一种是使用树模型进行融合,一种是手工调参进行融合。在实 际的比赛过程中,由选手进行手工调参的融合效果好于使用树模型进行融合,其 原因在于树模型容易过拟合。之后使用分别针对三个模型使用 k 折法,分数从 82 提升到 82.8。 关键词:预训练模型,k 折,融合
-|work
-|data
- download_models.py
- paras.py
- predict.py
- run.py
-README.MD
-1756086.ipynb
详情查看 https://aistudio.baidu.com/aistudio/projectdetail/1756086