또 gpu 할당 문제가 발생했습니다.

[DevKiHyun]

현재 학습중인 세션이 3개가 있습니다.
그외엔 전혀 없고 1개 더 추가로 제출용으로 돌릴려고
하는데 이미 초과라면서 에러가 뜹니다.

...Error: Fail to run nsml session due to lack of available GPU for you
Your maximum available GPU is 4
Your are currently using 4 GPU
The number of GPU you requested is 1 GPU

3개 밖에 안돌아가는 중인데 왜 하나가 더 추가하면 에러가 나는지 모르겠습니다.
저번 이슈와 동일한 것 같습니다.

[nsml-admin]

지피유 할당과 관련해서는 계속체크를하고있고, 서브밋 세션이 비정상종료되면 관련 에러가발생되는것같습니다.

앞으로도 문제가 발생하면 제보부탁드립니다.

현재는 지피유갯수가 제대로 표시되는것으로 확인됩니다.

감사합니다.