Language study application using OCR, NMT
flip은 OCR과 NMT를 이용하여 화면상의 텍스트를 번역해주는 앱입니다. 데스크탑 환경에서 워드 프로세서, 브라우저, 게임 등의 텍스트를 인식하여 번역을 제공합니다. flip을 통해서 쉽게 언어공부를 할 수 있도록 사람들을 돕는 것이 flip의 목표입니다.
- 사용법
- 학습된 자연어모델 다운로드
- https://drive.google.com/drive/folders/1-4QYoBB8-JCQOUTENfiV3HiEpq_4nODi?usp=sharing
- third-party/huggingface 폴더에 config.json, pytorch_model.bin을 다운로드합니다.
- pip install -r requirements.txt
- python flip.py
- 학습된 자연어모델 다운로드
- 프로젝트 구조
- UI 화면
- 번역모델
- 고품질의 parallel corpus 데이터를 찾아야함.
- huggingface의 경우 모델크기가 너무 큰 단점이 있음. 또한 학습시킨 모델이 onnx 모델로 전환되지 않는 버그를 수정해야함.
- opennmt의 경우에는 자체 추론 라이브러리 ctranslate2를 제공해주고 있지만 windows 버전을 제공해주지 않음.
- 직접 학습시키는 모델의 경우 아직까지 만족할만한 번역성능을 내고있지 못함.
- Python kivy
- tesseract
- AutoHotkey
- (pilot) huggingface, opennmt