naver-airush/NAVER-AI-RUSH

gpu를 3개를 쓰고 있는데 4개를 쓰고 있다고 나옵니다.

Closed this issue · 4 comments

Informations

CLI

  • OS (Mac, Windows, Linux, etc) and version:
  • client version(please show nsml --version):

WEB

  • Brower (chrome, firfox, etc):
  • URL:

What is your login ID?
kimwj94

Question
안녕하세요. 제가 지금 session을 3개 run 한 상태여서 (gpu 1개씩 할당했습니다)
총 3개의 gpu를 할당했는데, submit을 하려고 보니 4개를 모두 쓰고 있다고 나옵니다.
혹시 확인 가능 할까요??

@kimwj94 님, submit session은 dashboard에 나오지 않지만, 개인 쿼터를 사용하는 것 진행됩니다.
48번 세션이 submit session이라 안보이시는 상태입니다.

|  1 kimwj94 kimwj94/spam-3/48     Running 7 2020-07-30 13:41:56 a few seconds
|  2 kimwj94 kimwj94/spam-3/46     Running 6 2020-07-30 11:27:30 a few seconds
|  3 kimwj94 kimwj94/spam-3/45     Running 7 2020-07-30 11:19:56 a few seconds
|  4 kimwj94 kimwj94/spam-3/44     Running 1 2020-07-30 11:15:30 a few seconds

@bluebrush 님, submit session을 없애려면 어떻게 해야 하나요??
제가 아까전에 submit을 할 때 rpc error code = unavailable desc = transport is closing 라는 에러가 떴었는데, 이거 때문에 뭔가 이상하게 된 것 같습니다.

@kimwj94
nsml rm -f session_name
명령어 한번 사용해 보시겠어요? 그러면 세션 강제 종료됩니다

#86 에 관련된 명령어들이 있습니다.

@bluebrush 님, 지금 다시 submit을 하니까 잘 됩니다. 감사합니다.
기존에 run하고있던 session이 종료되어서 submit이 되었던 것이네요..
@fenneccat 님이 알려주신대로 session 강제 종료 하였습니다. 감사합니다.