Q00/data.go.kr-crawling

queue validate 검사

Q00 opened this issue · 1 comments

Q00 commented

validate에서 거르지 않는지 계속 똑같은 데이터를 가져오고 있다
똑같은 데이터를 가져오지않고 다 가져왔을 시 worker가 queue에만 갈 수 있도록 할 수 있게 만들 필요가 있음

Q00 commented

함수 분리하여 worker에게 queue.put을 타지 않게 하였다.
while condition을 변경하여 queue.empty== true면 빠져나오게 하였다.
exception handler로는 break가 먹히지 않는 것으로보인다