Challenges in Generalization in Open Domain Question Answering

[htw970202]

발전된 LM모델도 최근 연구에서 적대적 샘플과 분포 외 샘플이 수많은 작업에 걸쳐 기존 모델에 대해 여전히 어려운 것으로 밝혀졌기 때문에 아직 일반화할 수 있는 언어 이해를 얻지 못하고 있다는 것은 분명함.

본 논문에서는 이전에 나왔던 ODQA(Open Domain QA) dataset인 TriviaQA, WebQuestions를 분해하여 수동으로 주석을 추가했다.

문제의 원인중 하나로 질문 구조 자체일 수 있으며 분해 접근 방식의 부산물로 각 질문에 대한 높은 수준의 질문 패턴을 도출 할 수 있다.

요약하자면

1. ODQA모델 일반화를 연구하고 보이지 않는 질문을 중첩 구성요소, 신규개체의 세가지 하위 집합으로 분류
2. 질문을 구성적인 것으로 취급하여 의미론에 따라 atomic 요소로 분해