ko-nlp/Korpora

대용량 데이터 로딩 시 경고 메시지 출력 및 동의 후 로딩

Closed this issue · 1 comments

lovit commented

일부 데이터는 그 크기가 기가 단위이기 때문에 메모리에 올려서 작업하기가 어렵습니다. 이러한 데이터는 Korpora.load() 함수를 이용하여 로딩할 때 warning 을 하고, 사용자 동의를 얻은 뒤 로딩하는것이 어떨까요?

lovit commented

kcbert 와 namuwikitext 만 해당 이슈를 해결하면 됩니다.