/CoronaCrawler

코로나 확진자 수/정보 크롤링

Primary LanguagePythonMIT LicenseMIT

Confirmed Case Counter

코로나맵 사이트에 환자 수를 반영하기 위해 여러 사이트의 데이터를 가져옵니다.


수집하는 사이트

사이트 카테고리 수집하는 데이터
worldometer 세계 & 국내 확진자수, 격리해제수, 사망자수
질병관리본부 국내 확진자수, 격리해제수, 사망자수
질병관리본부 - 시도별 발생동향 국내 시도별 전일대비확진환자증감, 확진환자수, 사망자수, 발생률
I SEOUL YOU - 코로나19 서울 확진자수, 격리해제수, 사망자수
나무위키 국내 확진자수, 격리해제수, 사망자수

Code Structure

Path Description
CoronaCrawler Main folder
├  kdkc
├  main.py 크롤러 실행
├  scrape_domestic.py KCDC와 각 시도에서 운영하는 사이트에서 시도별 발생 동향 수집
├  scrape_korea.py 질병관리본부, worldOmeter에서 국내(or 세계) 환자수 데이터 수집
├  scrape_helper.py 데이터 수집을 돕는 함수들
├  slack_handler.py
├  singleton.py
├  utils.py 자주 사용하는 공용 함수
├  jejuRSScrawler.py 제주특별자치도 보건서비스 현황 및 브리핑자료
├  _domestic.json 국내 시도별 환자수 데이터
├  _world.json 세계 국가별 환자수 데이터
├  _data.json 수집해야 하는 데이터 항목들
├  _data_desc.json 수집해야 하는 데이터 한글명
├  slack_update_url.txt slack bot-alarm 채널 url (업데이트 확인용)
├  slack_covidbot_url.txt slack crawling-alarm 채널 url (수집 데이터 확인용)
├  slack_covidbot_token.txt slack COVID bot 파일 업로드를 위해 필요한 토큰

requirements

conda env create -f requirements.yaml

TODO