Este projeto de web scraping foi desenvolvido para coletar notícias sobre tecnologia de um site específico. Utilizando técnicas de raspagem de dados, foi possível extrair informações como o título da notícia, sua categoria, o resumo e o link para a notícia completa. Com a automação desse processo, foi possível coletar uma grande quantidade de informações em um curto espaço de tempo, permitindo a manipulação e análise dos dados coletados.
🔰 Iniciando o projeto e Comandos Úteis
- Clone o repositório
git clone git@github.com:luizfilipelgs/Tech-News-Web-Scraping
- Entre na pasta do repositório que você acabou de clonar:
cd Tech-News-Web-Scraping
- Crie o ambiente virtual para o projeto e ativeo
python3 -m venv .venv && source .venv/bin/activate
- Caso já se tenha clonado e criado o ambiente virtual antes, apenas ative com:
source .venv/bin/activate
- Instale as dependências
python3 -m pip install -r dev-requirements.txt
- Caso Não tenha o mongoDB localmente, rode via docker com:
docker-compose up -d mongodb
- Inicialize a aplicação.
- digite o comando
tech-news-analyzerpara acessar o menu em seu terminal e utilizar a aplicação.