/Web-Crawling

BeautifulSoup, Selenium을 활용한 웹 크롤링

Primary LanguageHTML

Web_crawling

1.파이썬을 이용한 머신러닝, 딥러닝 실전 개발 입문

  • 책을 통해 다양한 크롤링 방법 공부

01_ 크롤링과 스크레이핑

    1. 데이터 다운로드하기
    1. BeautifulSoup로 스크레이핑하기
    1. CSS 선택자
    1. 링크에 있는 것을 한꺼번에 내려받기

02_고급 스크레이핑

    1. 로그인이 필요한 사이트에서 다운받기
    1. 웹 브라우저를 이용한 스크레이핑
    1. 웹 API로 데이터 추출하기
    1. cron을 이용한 정기적인 크롤링

03_데이터 소스의 서식과 가공
    1. 웹의 다양한 형식
    1. 데이터베이스


2.실습/활용

  • 네이버 Open API - 주소<->좌표 변환