clastro/Crawling

크롤링 코드

crawling

유튜브 크롤링 (댓글, 썸네일, 기본 정보, 이메일, 광고 유무, 카테고리)

1. API를 사용한 데이터 수집
2. API 사용 없이 데이터 수집

네이버 크롤링

1. 네이버 웹 페이지 데이터 크롤링

다트 공시 크롤링

1. crawl_dart_rcp_no #다트 공시에서 사업보고서 가져오는 코드

2. crawl_specific_contents(Dart) #사업 보고서 6,8번 항목 가져오는 코드

3. Final_crawl #보상 위원회가 설치 되어 있으면 1을 반환

4. table_crawl #테이블로 되어 있는 html을 pandas 데이터프레임 형식으로 불러오는 방법