Este é um projeto de webscrapper para coletar e armazenar dados de alagamento do Centro de Gerenciamento de Emergências (CGE) de São Paulo. Os dados históricos são extraídos de uma tabela e atualizados diariamente por meio de um script executado pelo GitHub Actions.
O banco de dados contém três tabelas: Subprefeitura, Chuvas e Alagamentos. Abaixo está a estrutura detalhada de cada tabela:
id: Identificador único da subprefeitura (chave primária).nome: Nome da subprefeitura.
id: Identificador único da entrada de chuva (chave primária).subprefeitura_id: ID da subprefeitura associada.data: Data da ocorrência da chuva.quantidade_mm: Quantidade de chuva em milímetros.FOREIGN KEY (subprefeitura_id) REFERENCES Subprefeitura(id): Chave estrangeira referenciando a tabela Subprefeitura.
id: Identificador único do registro de alagamento (chave primária).subprefeitura_id: ID da subprefeitura associada.data: Data da ocorrência do alagamento.quantidade_alagamentos: Quantidade de alagamentos registrados.referencia: Referência geográfica do alagamento.sentido: Sentido do alagamento (opcional).rua: Nome da rua onde ocorreu o alagamento.horario_inicio: Horário de início do alagamento.horario_fim: Horário de término do alagamento.FOREIGN KEY (subprefeitura_id) REFERENCES Subprefeitura(id): Chave estrangeira referenciando a tabela Subprefeitura.
Este projeto é executado automaticamente através do GitHub Actions para atualizar os dados diariamente. Para utilizar ou contribuir com o código, siga as instruções abaixo:
- Clone este repositório:
git clone https://github.com/seu_usuario/nome_do_repositorio.git- Instale as dependências:
pip install -r requirements.txt- Execute o script principal:
python scrapper.pyIsso irá executar o script scrapper.py, que atualiza os dados do projeto. Se desejar, você pode agendar a execução deste script em seu próprio ambiente configurando um cronjob para executá-lo periodicamente.