/nlp-datasets

Curation note of NLP datasets

1. Machine Translation

Type Name Langauges Volume
Multi-lingual JW300 en ko ja ?
Multi-lingual Open Subtitles en ko ja zh
enko-organized
?
Multi-lingual QED en ko ja zh ?
Multi-lingual Tatoeba en ko ja ?
Multi-lingual GNOME en ko ja zh ?
Multi-lingual Tanzil en ko ja zh ?
Multi-lingual bible-uedin en ko zh ?
Multi-lingual KDE en ko ja zh ?
Multi-lingual Ubuntu en ko ja zh ?
Multi-lingual PHP en ko ja zh ?
Multi-lingual Global Voice en ko ?
Multi-lingual ELRC_2922 en ko zh ?
Multi-lingual Ted Multilingual Corpus ko ja zh 0.4M
Multi-lingual Multilingual TED Takls 10 langauges ?
Multi-lingual Twitter corpora (small) en ko ja ?
Multi-lingual Asian Langauge Treebank en ko zh ja 20k
Multi-lingual 1000 parallel sentences en ko ja 1k
Multi-lingual TUFS Asian Language Parallel Corpus en ko ja 1k
Multi-lingual NICT QE/APE Dataset en ko ja zh 10k
Multi-lingual Basic Expressions en ja zh 5k
Multi-lingual Kaist Parallel Dataset en ko zh 60k
Bi-lingual Korean Parallel corpora en ↔ ko 10k
Bi-lingual AIHub translation dataset en ↔ ko 1.6M
Bi-lingual AIHub Parallel corpus of specialized fields en ↔ ko 1.5M
Bi-lingual Ulsan University parallel dataset en ↔ ko 1.25M
Bi-lingual UMCorpus en ↔ zh ?
Bi-lingual JParaCrawl en ↔ ja 10M
Bi-lingual Stanford en ↔ ja 2.8M
Bi-lingual small_parallel_enja en ↔ ja 50K
Bi-lingual Kyoto Free Translation Task en ↔ ja 1k
Bi-lingual Japanese-English Legal Parallel Corpus en ↔ ja 0.26M
Bi-lingual UNCorpus en ↔ zh 15M
Bi-lingual MultiUN en ↔ zh ?
Bi-lingual Sina Weibo ko ↔ zh 41k
Bi-lingual JParaCrawl ja ↔ zh 83k
Other Materials CS224N Subtitles en ↔ ko 5k
Other Materials CS231N Subtitles en ↔ ko ?
Other Materials KaiserreichKoreanTranslation en ↔ ko ?
Other Materials TheNewOrderKoreanTranslation en ↔ ko ?
Other Materials EYWOR-Korean-translation en ↔ ko ?
Other Materials Red-Flood-Korean-Translation en ↔ ko ?

2. Question Answering

주요 데이터셋

ref Name Description
1 0 KorQuAD 1.0 대표적인 한국어 QA 데이터셋. SQuAD와 동일한 형식을 따름. 6만개 수준의 데이터셋.
2 0 KorQuAD 2.0 대표적인 한국어 QA 데이터셋. HTML 태그, Table 등이 포함된 복잡한 입력이 있기도 하며 지문이 여러개인 Multi-hop 등 다양한 문제를 해결하기 위한 데이터셋.
3 0 AIHub-MRC 45만개 수준의 한국어 QA 데이터셋
4 0 AIHub-Commonsense 10만개 수준의 한국어 QA 데이터셋
5 + ARC 다지선다 문제풀이 데이터셋
6 + Story Cloze Text 지문과 두 개의 결말을 주고 어떤게 맞는지 결정
7 + SearchQA 카테고리, 검색결과, 질문과 정답 데이터셋
8 + SQuAD2 문단이 주어졌을 때 질문과 정답 데이터셋
9 1 SQuAD 위키피디아에서 생성된 질문과 정답들
정답은 주어진 지문 안에서 span으로 찾음
10 2 GLUE NLU 벤치마크 데이터셋 모음
11 3 MS MARCO Bing 질문과 사람이 작성한 정답 데이터셋
12 4 TriviaQA 위키피디아에서 수집한 텍스트 기반 질의응답 데이터셋
13 6 NewsQA CNN 뉴스 관련 MRC 데이터셋
정답이 없는 경우도 있음
14 7 RACE 영어 독해 데이터셋
지문과 질문이 주어지는 사지선다 데이터셋
15 8 HotpotQA 영문 위키피디아에서 수집한 데이터셋
지문의 여기 저기에서 정보를 수집
16 9 bAbI 질문, 정답, 사실들이 주어진 데이터셋
17 10 Natural Questions 구글 및 위키 페이지에 관련된 질문과 이에 대한 long, short 대답 데이터셋
18 11 MCTest 이야기 데이터가 주어졌을 때(한 문단보다 길 수 있음) 사지선다 형식으로 질문과 답 쌍 데이터셋
19 12 WikiQA 위키피디아 기반 질문과 해당 위키 페이지 링크, 해당 페이지의 summary, 그리고 정답 span 데이터
20 13 CoQA 주어진 passage에 대한 질문, 대답, 그리고 그에 대한 근거 데이터셋
21 14 SuperGLUE GLUE와 유사하지만 GLUE보다 조금 더 어렵고 더 다양한 task를 커버하는 데이터셋
22 17 NarrativeQA 위키 summary, 원문 link, 질문, 대답으로 이루어진 데이터셋
23 20 CommonsenseQA AMT로 생성한 상식 문제 데이터셋
24 21 DROP 위키피디아에서 수집한 passage와 질문, 그에 대한 답 데이터셋
25 22 SimpleQuestions knowledge base이지만 factoid 질의응답 데이터셋이라 일단 추가함
26 23 CBT 구텐베르크 book corpus 사용, 여러 문장을 문맥정보로 제공하고 질문과 정답 후보, 정답 데이터셋
27 27 ROCStories 짧은 이야기와 옳은 결말, 틀린 결말 데이터셋
28 28 COPA open domain에서 인과 관계 추론 task를 위한 전제와 두 후보 정답 데이터셋
29 29 QUASAR QUASAR-S와 QUASAR-T로 구성된 데이터셋으로 S의 경우 빈칸을 채우는 task, T의 경우 문맥 데이터에서 질문에 대한 답을 찾는 task에 대한 데이터셋
30 30 WinoGrande 대명사가 어떤 것을 가리키는지 찾는 task에 대한 데이터셋
특정 단어(trigger word)가 다른 두개의 문장이 주어지고 동일한 대명사가 무엇을 가리키는지에 대한 선택지 및 정답 데이터셋
31 33 MultiRC passage가 여러 문장으로 주어지고 이에 대한 질문과 선지, 정답, 그리고 정답에 대한 이유 데이터셋
32 34 WikiReading 비정형 위키 데이터에서 텍스트 값 예측
document, property, 정답 데이터셋
33 36 BoolQ 질문과 지문이 주어지면 이에 대한 예 아니오 답 데이터셋
34 37 CosmosQA 상식 기반 독해 데이터셋
지문, 질문, 사지선다 정답 주어짐
35 39 SPIDER cross-domain text-to-sql 데이터셋
36 40 MRQA 2019 독해 데이터셋
SQuAD, NewsQA, TriviaQA, SearchQA, HotpotQA, NauralQuestions 데이터를 pooling한 데이터셋
37 41 TrecQA Text retrieval conference Question Answering
상식 질의응답 데이터셋
38 43 QUASAR-T 29번 QUASAR에 포함되는 데이터셋
39 45 Social IQA Social Interaction QA
사회적 상식을 테스팅하는 데이터셋으로 문장과 질문, 대답으로 구성
40 51 ELI5 long-form 질의응답 데이터
질문, 정답, 지문이 주어지는데 정답이 여러 문장으로 나올 수 있음
41 52 decaNLP Natural Language Decathlon이라고 질의응답, 기계번역, 요약, 자연어 이해, 감성 분석 등 열가지 태스크에 대한 benchmark 데이터셋)
42 55 DREAM dialog가 지문으로 주어지고, 그에 대한 질문과 정답 데이터셋
43 56 BookTest 23번 CBT와 유사하지만 더 큰 데이터셋
44 57 Who-did-what news corpus에서 데이터 수집
같은 사건에 대한 두 개의 기사에서 한 기사는 맥락으로 사용하고 다른 한 기사는 질문 생성으로 사용한다
지문, 질문, 선택지 데이터셋
45 58 ShARC 시나리오(맥락), 질문, 정답 데이터셋
46 64 CODAH SWAG 형식의 상식 질의응답 데이터셋
description을 주고 문장을 주면 이어서 나올 선지를 선택하는 task
47 71 SelQA 영문 위키 데이터 기반으로 문장 단위 대답을 얻을 수 있는 질문 및 대답 데이터셋
48 73 TACRED RE 데이터셋, 크라우드 소싱
relation과 pos등의 정보가 태깅되어있음
49 75 QUASAR-S 19번 QUASAR에 포함된 데이터셋
50 76 ReClor 문맥, 질문, 선지, 정답이 주어지는 graduate admission exam 데이터셋
51 77 ReQA Retrieval QA
질문과 지문 주어지고 정답은 지문에 포함됨
52 82 AmazonQA Amazon dataset을 기반으로 review를 보고 질문에 대한 대답이 가능한지 가능하지 않은지 태깅해줌
정답, 질문, 카테고리, 리뷰 등으로 구성
53 85 ANTIQUE yahoo 등에서 사용자들이 실제로 한 non-factoid(where who why 이런 것들) 질의응답 데이터셋
54 91 TweetQA 기자들이 기사 작성을 위해 사용한 트윗들 수집, 사람들이 직접 질문과 답을 작성
짧은 트윗과 질문, 그리고 절 단위 정답 데이터셋
55 94 [Quizbowl 질문이 포함된 지문이 여러 문장과, 이에 대한 정답 데이터셋
56 104 ReviewQA 호텔리뷰 질의응답 데이터셋
57 105 subjQA 주관적인? subjective 질문과 리뷰, 정답 스팬이 하이라이트 되어있는 데이터셋
책, 영화, 장보기, 전자기기, 여행 등 6개의 도메인 데이터로 구성
58 107 MultiReQA retrieval 모델에 대한 데이터셋
SQuAD데이터같은 데이터셋에서 answer sentence를 retrieve하는 task
59 108 OPIEC 영문 위키에서 가져온 ie 데이터셋, pos, ner등 각종 태깅이 되어있다
60 109 ProtoQA FAMILY-FEUD라는 쇼를 기반으로 하는 상식 질의응답 데이터셋
61 110 QReCC 질의응답 데이터셋인데, 문맥에 구애받지 않도록 쿼리를 재작성한 데이터셋
62 113 WikiSuggest 구글 suggest api를 사용해서 질문 수집, 질문, 정답, 위키 지문 데이터셋
63 114 Dialog-based Language Learning dataset 모델이 학생처럼 학습할 수 있게, 질문하면 대답을 주고, 대답이 맞으면 보상을 주는 형식으로 (기본 정보나 질의응답에는 0, 정답이면 1을 태깅)
64 124 WikiHowQA answer selection 및 summarization task를 한 번에 학습할 수 있는 질의응답 데이터셋

Cross-lingual / multilingual dataset

ref Name Description
1 + DuReader 중국어 MRC 데이터셋
2 + C3 중국어 다지선다 데이터셋
3 32 MLQA 영어, 아라비아어, 독일어, 스페인어, 힌디어, 베트남어, 중국어 간체에 대해서 동일한 qa dataset이 평균적으로 4가지 다른 언어로 존재
4 44 TyDi QA 11가지 언어 데이터셋
5 49 DRCD 오픈도메인 독해 데이터셋, 중국어와 영어가 parallel하게 주어짐
6 50 XQuAD 스페인어, 독일어, 그리스어, 러시아어, 터키어, 아라비아어, 베트남어, 태국어, 중국어, 힌디어에 대한 질의응답 데이터셋으로 문맥 지문과 정답 span, 그리고 질문 데이터로 구성됨
7 62 XQA 영어, 중국어, 프랑스어, 독일어, 폴란드어, 포르투갈어, 러시아어, 타밀어, 우크라니아어 총 9개 언어로 구성된 질의응답 데이터셋
8 74 Wikiconv Wiki contributor 간의 대화 말뭉치
영어, 독일어, 러시아어, 중국어, 그리스어 지원
9 79 FQuAD 프랑스어 독해 데이터셋
10 89 MKQA 영어, 아라비아어, 덴마크어, 독일어, 스페인어, 핀란드어, 프랑스어, 히브리어, 헝가리어, 이탈리아어, 일본어, 앙코르어, 한국어, 말레이시아어, 네덜란드어, 노르웨이어, 폴란드어, 포르투갈어, 러시아어, 스웨덴어, 태국어, 터키어, 베트남어, 중국어, 홍콩중국어, 간체중국어 총 26개 언어 질의응답 데이터셋
11 96 XTREME 12 종류 언어와 9 task로 이루어진 multilingual transfer learning 데이터셋
12 106 KLEJ 폴란드어 자연어 이해 task 데이터셋
13 121 RELX 영어, 프랑스어, 독일어, 스페인어, 터키어로 구성된 관계 분류 데이터셋
14 125 XOR-TYDI QA TyDi QA 질문을 기반으로 생성한 데이터셋, TyDi QA보다 다루는 언어는 더 적음

모든 데이터셋

Name Description
0 KorQuAD 1.0 대표적인 한국어 QA 데이터셋. SQuAD와 동일한 형식을 따름. 6만개 수준의 데이터셋.
0 KorQuAD 2.0 대표적인 한국어 QA 데이터셋. HTML 태그, Table 등이 포함된 복잡한 입력이 있기도 하며 지문이 여러개인 Multi-hop 등 다양한 문제를 해결하기 위한 데이터셋.
0 AIHub-MRC 45만개 수준의 한국어 QA 데이터셋
0 AIHub-Commonsense 10만개 수준의 한국어 QA 데이터셋
+ ARC AI2Reasoning Challenge
grade-school level, multiple-choice science questions
Challenge Set & Easy Set: Challenge Set: questions answered incorrectly by both a retrieval-based algorithm and a word co-occurrence algorithm
+ QAngaroo WikiHop과 MedHop 데이터셋
+ Story Cloze Test dataset for story understanding that provides systems with four sentence stories and two possible endings
네 문장으로 이루어진 지문에 두개의 결말을 주고 어떤게 맞는 결말인지
+ SWAG Situations With Adversarial Generations
grounded commonsense inference
video caption 주고 다음에 일어날 일 고르기
+ Recipe QA multimodal comprehension of cooking recipes
+ DuReader open-domain Chinese MRC dataset
+ SearchQA full pipeline of general question-answering
question / answer / meta-data
+ AQuA Algebraic word problem dataset
+ Movie Dialog QA closed-domain QA dataset asking templated questions about movies based on Wikipedia
+ Movie Dialog Recommendations questions asking for movie recommendations
+ MTurk WikiMovies closed-domain QA asking MTurk-derived questions on movies based on Wikipedia
+ SQuAD2 open-domain QA dataset answerable from given paragraph
답을 주어진 문단에서 찾을 수 있는지 없는지 알 수 없음
+ C3 multiple-choice answering dataset in Chinese
1 SQuAD collection of qa pairs derived from wikipedia articles
correct answers of questions can be any sequence of tokens in the given text
questions and answers are produced by humans
2 GLUE collection of 9 nlu tasks
single-sentence tasks (CoLA, SST-2)
paraphrasing task (MRPC, STS-B, QQP)
nli tasks (MNLI, QNLI, RTE, WNLI)
3 MS MARCO 실제 Bing question과 사람이 작성한 answer dataset이었는데, question, nlg, passage ranking, keyphrase extraction, crawling, conversational search dataset이 추가됨
4 TriviaQA wikipedia에서 수집한 text-based qa dataset
문맥이 길고 정답이 지문 span prediction에서 직접 얻을 수 있지 않은 경우도 있기 때문에 기존의 SQuAD보다 challenging
5 ConceptNet word와 phrases를 이어주는 knowledge graph
designed to represent the general knowledge
6 NewsQA crowd-sourced mrc dataset of 120,000 qa pairs
CNN news articles
questions may be unanswerable
7 RACE english reading comprehension dataset for middle school & high school
지문 / 질문 / 답이 포함되어 있는 4개의 보기 / 답
8 HotpotQA 영문 위키피디아에서 수집한 qa dataset
crowd-sourced question
multi-hop question: 지문의 여기 저기에서 정보를 수집
9 bAbI 20가지 task로 이루어진 데이터셋
question / answer / set of facts
10 Natural Questions google.com query와 그에 해당하는 wiki page 그에 해당하는 long, short answer
long & short answer 중 둘 다 비어있을 수도 있고, short answer만 비어있을 수도 있음
11 MCTest stories & associated questions ( multiple-choice reading comprehension )
Open-domain machine comprehension
12 WikiQA Wikipedia open-domain qa
set of question & sentence pairs on open-domain qa
Bing query logs / link to wiki page / wiki summary의 각 문장
13 CoQA 주어진 passage에 대한 question & answer + evidence
지문이 주어지고 각각의 input text에 대해 정답의 span 정보 데이터
14 SuperGLUE GLUE와 유사하게 8개의 language understanding task
GLUE보다 더 어렵고, 더 다양한 task 제공
15 QuAC 14K crowdsourced QA dialog, 98K qa pair
interactive dialog btw two crowd workers
hidden wiki text에 대해 최대한 많이 알기위한 자유로운 질문을 하는 학생
short spans from text로 질문에 대한 답을 제공하는 선생
16 CNN/Daily Mail Cloze-style reading comprehension dataset
CNN & Daily Mail News data
Cloze-style : missing word has to be inferred
entity 처리가 된 passage / 엔티티 토큰으로 치환된 질문 / 해당되는 엔티티 토큰
17 NarrativeQA Title / Question / Answer / Summary snippet / Story snippet
18 WebQuestions google suggest api crawling question + AMTurk answers
19 Quara quora.com question 기반 400k question pairs
binary value indicating whether two questions are paraphrase or not
20 CommonsenseQA Amazon Mechanical Turk로 생성한 상식 문제 데이터셋
21 DROP 크라우드소스 데이터
wikipedia article에서 수집된 passage와 질문과 그에 대한 답
22 SimpleQuestions factoid qa dataset(what, which 등등의 질문)
Freebase knowledge base (약간 상식 문제 느낌)
23 CBT Project Gutenberg의 book corpus 사용
여러 문장을 context로 주고 query와 candidate, 그리고 answer 데이터
24 BioASQ question / human-annotated answers / relevant contexts on biomedical dataset
25 CORD-19 scholarly article about coronavirus
26 ATOMIC commonsense if-then reasoning
27 ROCStories commonsense short(5-sent) stories
cloze test stories
endings collected by Mechanical Turk (right / wrong)
context와 그에 대한 옳은 결말과 틀린 결말 데이터셋
28 COPA open-domain commonsense causal reasoning
premise + 2 alternatives, task: select alternative that is more plausible
29 QUASAR QUASAR-S → fill-in-the-gaps questions collected from Stack Overflow
QUASAR-T → open-domain questions collected from various internet sources
30 WinoGrande crowdsourcing, trigger word가 있음
대명사가 어떤 것을 가리키는지 찾는 task
31 WikiHop multi-hop qa dataset → document 여러개 거쳐서 답을 찾는 task
entities and relations / supporting documents are from WikiReading
여러 candidate들이 주어지고 query와 뒷받침 문장 여러개가 주어지고 답이 주어짐
32 MLQA cross-lingual question answering dataset ( English, Arabic, German, Spanish, Hindi, Vietnamese, Simplified Chinese)
동일한 qa dataset을 여러 언어로(평균적으로 질의응답별 4가지 다른 언어로 존재)
33 MultiRC short paragraphs, multi-sentence questions
paragraph의 여러 문장을 조합하면 답을 찾을 수 있는 task
정답지의 갯수는 선제시X
정답이 text의 span이라는 보장도 없다.
domain은 news, fiction, historical text 등 7 가지
34 WikiReading task: predict textual values from unstructured knowledge base wiki data
Document / Property / Answer
35 e-SNLI used for various goals, such as obtaining full sentence justifications of a model's decisions, improving universal sentence representations and transferring to out-of-domain NLI datasets
전제, 가정, label이 주어지면 premise에서 중요하다고 생각되는 부분에 하이라이트, explanation 붙임
36 BoolQ qa dataset for yes/no question
question / passage / answer(yes/no)
37 CosmosQA commonsense-based reading comprehension
passage / question / multiple-choice +answer
38 Semantic Scholar titles & abstract of scientific papers from 1985 to 2017
39 SPIDER large-scale, cross-domain semantic parsing & text-to-SQL dataset
40 MRQA 2019 dataset for evaluating generalization capability
context 주고 question 주고 answer
SQuAD, NewsQA, TriviaQA, SearchQA, HotpotQA, NaturalQuestions
out-of-domain → BioASQ, DROP, DuoRC, RACE, RelationExtraction, TextbookQA
각각의 데이터를 본인들 형식으로 수정
41 TrecQA Text Retrieval Conference Question Answering (TREC-8 ~ TREC-13)
Q: Who was Lincoln’s Secretary of State? / A: William Seward
42 InsuranceQA question answering dataset for the insurance domain
43 QUASAR-T 43013 open-domain trivia questions & their answers from various internet sources
answer → free-form spans of text, mostly noun phrases
44 TyDi QA 11 typologically diverse languages
multilingual dataset
45 Social IQA social common-sense intelligence
motivation, 다음에 일어날 일, emotional reaction 등을 추론하는 task
context / question / answer(multiple choice)
46 WikiMovies question answering for movies content
47 ComplexWebQuestions qa that require reasoning over multiple web snippets
interact with search engine / reading comprehensin task / semantic parsing task
48 DuoRC pairs of movie plots / each pair reflects two versions of same movie
답이 없는 경우도 있고, 주어진 지문 외의 지식으로 답을 해야하는 경우도 있음
49 DRCD open domain traditional Chinese machine reading comprehension dataset
중국어와 영어가 parallel로 passage, question, answer가 주어진다
50 XQuAD benchmark dataset for evaluating cross-lingual question answering performance
Spanish, German, Greek, Russian, Turkish, Arabic, Vietnamese, Thai, Chinese, Hindi
Context paragraph with answer spans / Questions
51 ELI5 long-form question answering, part of Dodecadialogue
Question / Answer / Documents
Answer가 여러 문장
52 decaNLP Natural Language Decathlon(10종 경기) Benchmark
qa, mt, summarization, nli, sentiment analysis, semantic role labeling, zero-shot relation extraction, goal-oriented dialogue, sp, common-sense pronoun resolution
53 emrQA 1M question-logical form / domain specific large-scale qa dataset
데이터 생성을 logical form slot filling으로 한 것으로 보임
passage / question / answer
54 QASC qa focus on sentence composition
8-way multiple-choice grade(?) school science
과학 문제 / 정답 / annotated facts
55 DREAM multiple choice dialogue based reading comprehension examination dataset
collected from english-as-a-foreign-language examinations
dialogue / question / choices + answer
56 BookTest CBT(Children’s Book Test, 23번 데이터셋)와 유사하지만 60배 큰 데이터셋
57 Who-did-What news corpus에서 데이터 수집, CBT와 유사한 질문
각각의 질문은 2개의 독립적인 기사(?) → 한 기사로는 맥락을 제공하고 동일한 사건에 대한 다른 기사로 query를 생성한다
Passage / Question / choices
58 ShARC Conversational qa dataset, text containing rules
Category / Questions+Answer / Scenario / %
59 CliCR domain specific reading comprehension for cloze queries from clinical case reports
60 BREAK complex question을 이해할 수 있게 하는 데이터셋
Question Decomposition Meaning Representation이 주어진다
61 MathQA AQuA dataset 개선
질문 / 수식 스택 / argument 추가
62 XQA 90K qa pairs in 9 languages for cross-lingual open-domain qa
multilingual dataset → language / question / answer
63 MetaQA movie ontology based on WikiMovies dataset, 3-hop queries
64 CODAH Common-sense qa in SWAG style
사람들이 피드백을 기반으로 직접 생성
Description을 주고 문장을 주면 이어서 나올 선지를 선택
65 PybMedQA yes/no/maybe로 대답할 수 있는 research question answer dataset
biomedical question answering dataset
66 MedHop WikiHop과 유사하게 PubMed에서 수집한 biomedical qa dataset
67 CSQA Complex Sequential QA
1.6M turn으로 구성된 dialog dataset
단일 튜플로 대답할 수 있는 질문들과는 달리 더 큰 subgraph가 필요한 질문들로 구성
Knowledge graph 사용
68 CLOTH Cloze test by teacher → 빈칸에 들어갈 단어 찾기, 4지선다
middle, high school level english language exam
69 ComQA Complex Factoid QA with Paraphrase Clusters
compositionality(합성성, 의미이론), temporal reasoning, comparison등의 task
WikiAnswers community QA platform에서 가져온 데이터
-> 보통 search engine에서 답을 얻기 어려운 질문들도 포함되어있음
70 QuaRel crowdsource 데이터, multiple-choice story questions
71 SelQA crowdsource 데이터, sentence length answer drawn from 10 most prevalent topics in english wiki
72 CovidQA kaggle covid-19 dataset
73 TACRED dataset
RE dataset, annotated by crowd workers
각각의 type과 span이 tag로 달려있음
74 WikiConv history of conversations between contributors to Wikipedia
Eng, German, Russian, Chinese, Greek 지원
75 QUASAR-S QA by Search and Reading, Stack overflow
cloze-style queries on definitions of software entity tags on Stack overflow
답은 정해진 4874 entity에서만 있음
Question / Answer / Context excerpt
76 ReClor logical reasoning questions of standardized graduate admission exam
Context / Question / Option / Answer
77 ReQA Retrieval Question Answering, large set of document에서 답을 찾아오는 task
Question / Answer in context
78 WIQA What-If QA
perturbation(섭동, 천체의 궤도에 영향을 미치는 인력)을 설명하는 dataset
79 FQuAD French Native Reading Comprehension dataset on Wikipedia articles
80 QuaRTz Crowdsourced dataset of multiple-choice on open domain qualitative relationship (더 많고 더 적고 증가하고 줄어들고 등의 관계를 알아내는 것)
각 질문은 405개의 background sentences와 paired
81 Qulac question for lack of clarity in open-domain information-seeking conversations
모호한 질문이 들어왔을 때 좀 더 구체적으로 되묻는 데이터셋으로 추정
82 AmazonQA 923k questions, Amazon dataset을 기반으로 review를 보았을 때 각각의 질문이 대답 가능한지 가능하지 않은지 태깅해줌
answers / Question text / Category / review-snippets
83 ODSQA open-domain spoken dataset in Chinese
84 SciREX document level IE dataset
85 ANTIQUE 2626 open-domain non-factoid questions
yahoo 등에서 실제 유저들이 한 질문들로 구성
86 GenericsKB generic sentences dataset → generic은 ai 시스템에서 knowledge source로 쓰임
87 TechQA domain-adaptation qa dataset for technical support domain
technical forum에서 사용자들이 한 질문들로 구성되어있음
IBM Developer, IBM Developer Works에서 가져옴
88 CCPE-M user와 assistant 간의 영어 발화 데이터
two paid crowd workers using wizard-of-oz methodology
89 MKQA Multilingual Knowledge QA
open-domain qa dataset, 26개 언어 지원 ( 한국어 포함 )
90 Mathematics dataset 수학 질문 & 답 데이터셋, 문제에 수식이 포함되어 있는 경우도 있고 없는 경우도 있음
91 TweetQA journalist들이 뉴스 기사 작성을 위해 사용한 트윗들 수집
인간 annotator들이 질문과 답을 작성, abstractive한 answer들 있음
task: read short tweet and question → output text phrase as answer
92 CQASUMM Community QA Summarization
4.4 mil Yahoo!로 생성한 dataset
93 FreebaseQA open-domain QA over Freebase knowledge graph, open-domain
trivia(Quiz) data를 Freebase에 맞게 고치고, human annotator가 verify
94 Quizbowl multiple sentences, clues arranged by difficulty, identify entity
지문이 여러 문장으로 주어지고, 질문이 포함되어 있음, 다 읽고 정답 맞추는 형식
95 X-WikiRE multi-lingual relation extraction dataset
독일어, 영어, 스페인어, 프랑스어, 이탈리아어 지원
ex. 아마존은 어디에 위치하는가 → context 보고 정답 맞추는 것
96 XTREME Cross-lingual TRansfer Evaluation of Multilingual Encoder
multilingual transfer learning
40 typologically diverse language spanning 12 language families
97 HeadQA multi-choice qa, Spanish healthcare system 입사(?) 시험 data
98 PEYMA NER dataset, document from 10 news websites
99 Almawave-SLU Italian dataset for Spoken Language Understanding
100 COVID-Q CoVID-19 questions
101 ClarQ Stackexchange에서 가져온 데이터
102 JEC-QA Legal Question Answering dataset from 중국 국가 법 시험
103 MATINF Maternal and Infant dataset → 중국의 임신 육아 도메인 qa 데이터셋
104 ReviewQA 호텔 리뷰 qa dataset
105 SubjQA subjective에 집중하는 qa dataset
books, movies, grocery, electronics, TripAdvisor 등 6개 도메인 데이터
question & review, span is highlighted as answer
106 KLEJ 9 eval task for Polish language understanding task
107 MultiReQA cross-domain eval for retrieval qa model
SearchQA, TriviaQA, TextbookQA 등의 데이터셋 포함, 몇몇은 테스트 데이터만 있음
108 OPIEC Open Information Extraction Corpus
English Wikipedia로 만든 Open Information Extraction corpus
Pos tag, NER tag 등의 태그가 달려있음
109 ProtoQA common sense reasoning, FAMILY-FEUD라는 쇼에서 가져온 데이터, eval set은 크라우드 소싱
110 QReCC 14k conversation w
111 ScienceExamCER 초중등 수준 과학 시험 데이터
112 Shmoop Corpus 231 stories paired with detailed summary for each chapter
cloze task, abstractive summarization task등이 있음
113 WikiSuggest 구글 suggest api를 사용해서 question 수집
google search가 위키에서 찾은 짧은 답을 가져오면 question / answer / wiki doc 생성
정확한 답 없으면 prune
114 Dialog-based Language Learning dataset 모델이 학생처럼 학습할 수 있게, 질문하면 대답을 주고, 대답이 맞으면 보상을 주는 형식으로 (기본 정보나 질의응답에는 0, 정답이면 1을 태깅)
115 MEDIQA-AnS consumer health question 관련 question-driven summaries of answers
116 MeQSum dataset for medical question summarization
117 MilkQA dairy domain qa dataset, Portuguese
118 NQuAD Nuclear Question Answering Dataset
119 NText 8 mil word dataset in nuclear paper domain
120 OTT-QA Open Table-and-text QA dataset
table이나 text를 웹에서 가져다가 대답을 해야되는 형식
HybridQA dataset에서 re-annotate한 것
121 RELX cross-lingual relation classification dataset in 영어, 프랑스어, 독일어, 스페인어, 터키어
122 SCDE 중국 학교 영어시험에서 가져온 human-created sentence cloze dataset
123 TupleInf Open IE Dataset Open IE tuples extracted from “Answering Complex Questions Using Open Information Extraction”
124 WikiHowQA Community based qa dataset
Joint Learning of Answer Selection and Answer Summary Generation in Community Question Answering이라는 논문에서 제안
125 XOR-TYDI QA TyDi QA의 질문을 기반으로 생성한 cross-lingual dataset

3. Dialogue

Name Descriptions
Persona Chat 두 명의 크라우드 소서에게 페르소나가 제공되고 서로에 대해 알아가는 대화를 진행하는 데이터셋
ConvAI2 Persona Chat 데이터셋을 기반으로 하는 컴피티션 (NIPS2018)
Empathetic Dataset (ED) 어떠한 상황 등이 주어지면 그에 대해 대화하는 데이터셋. 봇의 감정적인 이해 능력을 향상시키기 위해 만듦.
Wizard of Wikipedia 주어진 주제에 대해 잘 알고있는 마법사와 호기심 많은 견습생 간의 대화를 수행하는 데이터셋. 봇이 어떤 사실에 대해서 잘 대답하게 할 수 있음.
Blended Skill Talk 위 세가지 데이터셋 (페르소나, 감정이해, 지식이해)를 통합한 데이터셋. 블렌더봇 학습에 사용됨
Cornell Movie 영화 자막으로 이루어진 데이터. 내용은 픽션임.
Dialogue NLI 대화 중 컨시스턴시를 유지시키기 위한 데이터셋이. 이 데이터셋으로 NLI를 같이 학습하면 그런 약점들이 좀 완화되지 않을까 싶음.
Reddit 레딧 쓰레드를 이어붙여서 만든 대화 데이터
Twitter 트위터에서 크롤링한 대화 데이터
Open Subtitles 영화 자막을 모아놓은 데이터
Daily Dialog Topic, Emotion, Utterance Action 등이 잘 정리된 대화 데이터
Holl-E 영화에 관련된 Background knowledge를 포함하는 대화 데이터
ReDial 한 유저가 다른 유저에게 영화를 추천하는 대화를 수행하는 데이터
Image Chat 215개의 개인의 성격 특징을 활용해서 대화를 나눈 데이터셋
Style-Controlled Generation Image chat를 참고하였음. 레이블이 지정된 대화 데이터셋
DECODE 마지막 발화가 이전 대화 기록들과 모순되는지 여부를 디텍션 하는 데이터셋
TaskMaster-1 2019 Google에서 공개한 고품질 대화 데이터.