heehehe/job-trend

crawling.py code 수정

Closed this issue · 5 comments

dbsgh3344 commented

crawling.py 의 jumpit class 내부 run 메소드에서

 with open(os.path.join(data_path, "jumpit.content.info.jsonl", "w")) as f:

"w" 를 괄호 밖으로 이동

dbsgh3344 commented

이슈 내에 프로젝트가 할당이 안되네요ㅠ

  • 👀1
heehehe commented

@dbsgh3344
앗 이런 오류가 있었군요ㅠㅠ 찾아주셔서 감사합니다ㅎㅎ!
(jupyter에서 작업하고 복사해둔 뒤에 다시 jupyter에서만 고친 내용이라 잘못되어 있었네요😅)
이 부분 먼저 수정해주시고 PR 바로 올려주셔도 좋을 것 같아요!!

프로젝트는 따로 권한 추가해드렸는데 접근 되실지 확인 한번 부탁드릴게요😃

  • 👍1
dbsgh3344 commented

아아 확인 감사합니다! 프로젝트 잘 접근되는거 확인했습니다
hotfix 브랜치로 새로 만들었습니다.
수정사항

  • write "w" 부분
  • run.sh 내 tokenizing에 사용되었던 cut code 주석처리
  • upload_to_bigquery.py 내 response 변수가 list를 반환해서 write 찍을때 str이 아니라는 에러 발생해서 반복문으로 write하도록 수정
heehehe commented

오 네네! 이 브랜치로 pull request 올려주시면 확인해서 반영해둘게요
앗 이미 올려주셨군요 확인을 못했었네요..! 감사합니다ㅎㅎ
완료된거 같아서 issue close 할게요!

  • 👍1
dbsgh3344 commented

아 넵! 완료했습니다! 감사합니다~

  • 😄1