SKTBrain/KoBERT

[BUG] Colab에서는 제대로 작동하는데 windows에서는 자꾸 kobert 설치시 오류가 뜹니다.

jellypower opened this issue · 8 comments

jellypower commented

🐛 Bug

Colab에서는 제대로 작동하는데 windows에서는 자꾸 kobert 설치시 오류가 뜹니다.
gluonnlp, onnxruntime, mxnet을 모두 삭제하고 설치 해보기도 했고 해당하는 버전을 모두 설치한 이후에 kobert 설치를 진행했는데도 안됩니다.
numpy도 삭제하고 설치해봤는데도 안됩니다.
colab에서는 그냥

!pip install git+https://git@github.com/SKTBrain/KoBERT.git@master

한 줄만 적어줘도 잘 됐는데 무슨 차이인지 모르겠습니다.

To Reproduce

ERROR: Cannot install kobert because these package versions have conflicting dependencies.

The conflict is caused by:
onnxruntime 1.8.0 depends on numpy>=1.16.6
gluonnlp 0.6.0 depends on numpy
mxnet 1.4.0.post0 depends on numpy<1.15.0 and >=1.8.2
onnxruntime 1.8.0 depends on numpy>=1.16.6
gluonnlp 0.6.0 depends on numpy
mxnet 1.4.0 depends on numpy<1.15.0 and >=1.8.2

To fix this you could try to:

  1. loosen the range of package versions you've specified
  2. remove package versions to allow pip attempt to solve the dependency conflict

ERROR: ResolutionImpossible: for help visit https://pip.pypa.io/en/latest/topics/dependency-resolution/#dealing-with-dependency-conflicts

버그를 재현하기 위한 재현절차를 작성해주세요.

    • windows에서 anaconda로 실행

Expected behavior

다운로드 자체가 안되니 코드 자체를 돌려볼 수가 없습니다.

Environment

windows10
conda 4.10.3
python 3.7.12
numpy 1.16.6

Additional context

bage79 commented

같은 이슈를 2개 등록하셨네요.
#82
두 이슈 중에서 하나를 close 부탁드립니다.

그리고 설명에 나와있는 실행 환경이 다른데, 각각 다른 환경으로 하셨나요?

jellypower commented

죄송합니다. 처음에 파이선 3.9에서 한 번 해보고 3.7에서도 해보고 안돼서 마지막것만 올려야겠다 싶어서 issue를 다시 열고 이전꺼를 안닫았네요.

환경은 3.7에서 시도를 해봤는데 똑같이 에러메세지가 떴었습니다.

지금같은 경우에는 사실 numpy나 urllib같은 종속성 버전을 transformer에 맞추고 실행을 하니 정상작동을 하긴 하지만 warning이 뜨는 상황입니다.

RequestsDependencyWarning: urllib3 (1.26.9) or chardet (3.0.4) doesn't match a supported version!
  warnings.warn("urllib3 ({0}) or chardet ({1}) doesn't match a supported "
bage79 commented

warning은 무시하셔도 됩니다.
오래 전에 만든 모델이어서 호환성 이슈가 있을 수 있습니다.
새로운 가상환경을 세팅하셔서, 새로 설치하시는 것을 권장해드립니다.

또한 최신 Python 버전에서 쉽게 구동되기 어려운 부분에 대해서 저희도 인지하고 있으며, 내부적으로 논의 중에 있습니다.
windows 환경이라서, 큰 도움을 드리지 못해 죄송합니다.

bage79 commented

추가 질문이 없으셔서, close 합니다.

seonleeuni commented

혹시 저도 같은 에러가 나는데 어떻게 해결하신건가요...? ㅠㅠ

seonleeuni commented

죄송합니다. 처음에 파이선 3.9에서 한 번 해보고 3.7에서도 해보고 안돼서 마지막것만 올려야겠다 싶어서 issue를 다시 열고 이전꺼를 안닫았네요.

환경은 3.7에서 시도를 해봤는데 똑같이 에러메세지가 떴었습니다.

지금같은 경우에는 사실 numpy나 urllib같은 종속성 버전을 transformer에 맞추고 실행을 하니 정상작동을 하긴 하지만 warning이 뜨는 상황입니다.

RequestsDependencyWarning: urllib3 (1.26.9) or chardet (3.0.4) doesn't match a supported version!
  warnings.warn("urllib3 ({0}) or chardet ({1}) doesn't match a supported "

혹시 어떻게 해결하셨나욤..ㅠㅠㅠㅠ transformer 버전에 맞춰도 안되던데요ㅠㅠ

citizenofathens commented

ERROR: Cannot install kobert because these package versions have conflicting dependencies.

The conflict is caused by:
onnxruntime 1.8.0 depends on numpy>=1.16.6
gluonnlp 0.6.0 depends on numpy
mxnet 1.4.0.post0 depends on numpy<1.15.0 and >=1.8.2
onnxruntime 1.8.0 depends on numpy>=1.16.6
gluonnlp 0.6.0 depends on numpy
mxnet 1.4.0 depends on numpy<1.15.0 and >=1.8.2

To fix this you could try to:

loosen the range of package versions you've specified
remove package versions to allow pip attempt to solve the dependency conflict
ERROR: ResolutionImpossible: for help visit https://pip.pypa.io/en/latest/topics/dependency-resolution/#dealing-with-dependency-conflicts

저도 위와 같은 오류가 나왔는데요

boto3 <= 1.24.94
gluonnlp == 0.10.0
onnxruntime == 1.6.0
sentencepiece ==0.1.96
torch == 1.10.1
transformers >= 4.8.1, <=4.8.1

저는 mxnet을 사용하지 않을 꺼라서 위와 같이 requirements를 수정하고

pip install -r requirements.txt 하면
다시 transformers 가 요구하는 numpy version과 onnxruntime이 요구하는 numpy version이 상충한다는 메시지가 나온 후

pip install numpy를 따로 실행하여 최신 버전의 numpy 버전(1.23.4)을 설치하고 다시
pip install -r requirements.txt 를 실행하여
설치에 성공했고

이후 kobert 의 라이브러리를 import 하면

하단의 경고메시지는 뜨지만 실행은 되는 상태입니다.
\site-packages\scipy_init_.py:146: UserWarning: A NumPy version >=1.16.5 and <1.23.0 is required for this version of SciPy (detected version 1.23.4
warnings.warn(f"A NumPy version >={np_minversion} and <{np_maxversion}"

  • 👍3
Yidongsoo commented

감사합니다