Este projeto foi criado como parte do curso de Web Crawling. Ele contém scripts em Python para extrair informações de produtos de sites de e-commerce como Kabum, Amazon e Magazine Luiza.
- Python 3.10+
- pip
- Requests
- BeautifulSoup
Para instalar as dependências, execute:
pip install -r requirements.txt
Para usar o Web Crawler, siga as etapas abaixo:
-
Clone o repositório
git clone https://github.com/KevinCerqueira/curso-web-crawler.git
-
Entre na pasta src
cd curso-web-crawler/src
-
Execute o comando
python crawler.py