Objetivo do Repositório: colocar scripts relacionados a web scraping. Por exemplo, um deles se refere ao ZAP-Imóveis, colentando informações sobre os imóveis e um outro sobre o despacho térmico da ONS no site deles.
Algumas vezes o web scraping pode encontrar certas dificuldades devido a diversos fatores: bloqueio pelo servidor, conexão instável e etc. Por este motivo, em alguns códigos podem haver erros e pode ser preciso rodar de novo do ponto onde parou. Dessa forma tb é sugerido que seja feita a utilização de pacotes como o tqdm para acompanhar o progresso do scraping.
Página de scraping do despacho térmico em ONS
Página de scraping do ZAP-Imovéis
Página de scrpaing de clima
Página de scraping de americanas
Python 3.7
- urllib.request
- BeautifulSoup (bf4)
- OS
Futuramente o projeto vai se extender para a coleta e organização dos dados em um dataframe no Pandas.
Alguns links úteis
https://pypi.org/project/beautifulsoup4/
https://docs.python.org/3/library/urllib.html