Implementing dataset language selection
h-albert-lee opened this issue · 1 comments
h-albert-lee commented
실험 관련 요청 사항이 있어 Issue 만듭니다.
데이터셋 언어 선택 기능을 구현해달라는 요청을 받았습니다.
구현 세부사항은 논의 후 본 Issue에 기재하겠습니다.
h-albert-lee commented
hugginface dataset에 split을 ko, us 등 여러 언어로 구성하는 방향으로 데이터셋이 제공될 예정이라고 합니다. 이를 arg든 config.yml이든 받아서 처리할 수 있도록 구현하면 될 것 같습니다.