ksjae/KoGPT

vocab.json 파일이 one drive와 google drive에서 서로 다른 것 같습니다.

Closed this issue · 2 comments

vocab.json 파일이 one drive와 google drive에서 서로 다른 것 같습니다.
google drive 파일에서 받은 tokenizer는 잘 decoding 되는데, one drive에서 받은 Tokenizer가 잘못 decoding 되는 것 같아요.
확인 부탁드립니다!

ksjae commented

현재 모델에 '안녕하세요.' 와 같은 특정 입력시, 세종코퍼스 문법 표지가 출력되는 버그가 있어 수정 중입니다.
수정 후 배포시 같이 고칠 예정입니다.

일단 Onedrive 링크를 비활성화 해놓겠습니다. 감사합니다.

ksjae commented

새 버전 올렸습니다. 다시 받아주세요.