Um projeto para libertar dados do município de Feira de Santana.
| Base de dados | Fonte | Descrição | Status | Download |
|---|---|---|---|---|
Agenda (citycouncil.py) |
Câmara Municipal | Coleta agenda da Câmara Municipal. | ✔️ | 🔜 |
Contratos (cityhall.py) |
Prefeitura | Contratos realizados pela prefeitura entre 2016 e 2017. | ✔️ | 🔜 |
Diário Oficial (gazette.py) |
Prefeitura/Câmara de Vereadores | Diário oficial do executivo e legislativo desde 2015. | ✔️ | 🔜 |
Diário Oficial (legado - antes de 2015) (gazette.py) |
Prefeitura | Leis e decretos entre 1999 e 2015. | ✔️ | 🔜 |
Licitações (cityhall.py) |
Prefeitura | Licitações realizadas pela prefeitura desde 2015. | ✔️ | 🔜 |
Pagamentos (cityhall.py) |
Prefeitura | Pagamentos realizados pela prefeitura desde 2010. | ✔️ | Kaggle |
Para rodar esse projeto localmente, instale as dependências:
pip install -r dev_requirements.txtNesse projeto utilizamos o Apache Tika para extrair o conteúdo dos arquivos de licitações, contratos e outros. Para tê-lo funcionando com esse projeto você precisa apenas do Java +7 instalado na sua máquina (pode ser a JRE mesmo).
No diretório scraper você poderá encontrar os spiders responsáveis pela
coleta dos dados. Para entender melhor como eles funcionam, dê uma olhada
na documentação do scrapy.
Para executar todos os spiders, desde o início execute:
cd scraper && python runner.py --all
Para executar todos os spiders, coletando apenas o dia anterior:
cd scraper && python runner.py
Para executar um spider, execute:
cd scraper && scrapy crawl cityhall_payments
cd scraper && scrapy crawl cityhall_payments -a start_from_date=03/01/2020
Para salvar os dados de um spider:
cd scraper && scrapy crawl cityhall_payments -o pagamentos.json
Você pode substituir json por outros formatos como csv.
Não sabe quem foi Maria Quitéria?