julianyraiol/portal_transparencia_am

Web Crawler que faz o download dos arquivos referentes aos salários dos funcionários do governo do estado do Amazonas nos formatos CSV e PDF.

Portal da Transparência do Amazonas

Baixa os arquivos referentes aos salários dos funcionários do governo do estado do Amazonas nos formatos CSV e PDF.

Fonte: Portal da Transparência do Estado do Amazonas

Instalação

Este projeto requer Python 3.+ e outras bibliotecas. Utilize o arquivo requirements.txt para instalar as dependências

$ git clone https://github.com/julianyraiol/portal_transparencia_am.git
$ cd portal_transparencia_am
$ pip install -r requirements.txt

Executar

No seu terminal, já tendo executado o arquivo de instalação, execute o seguinte comando:

$ scrapy crawl download_files

Para transformar todos os arquivos em um único csv, basta executar o seguinte comando:

$ scrapy crawl merge_files -o <NOME_ARQUIVO>.csv