conjugacaoScraper é um projeto com fins de estudos que obtém informações do Conjugacoes.
Utiliza o Scrapy como base.
Como requisito é necessário ter Pipenv.
Para instalá-lo utilize o pip:
$ pip install pipenv
Passos necessários para obter o projeto funcional:
$ git clone https://github.com/bartier/conjugacaoScraper.git
$ cd conjugacaoScraper/
$ pipenv install
$ pipenv shell
$ scrapy list
$ Se a saída do comando acima for 'verbs' você está com o projeto pronto.
O projeto é executado dentro de um environment virtual, ou seja caso você precise acessá-lo novamente utilize:
$ pipenv shell
VerbsSpider é um spider que obtém os verbos da listagem que inicia nessa URL. A listagem obtém cerca de 5000 verbos.
Para utilizá-lo execute o comando abaixo:
$ scrapy crawl verbs -o verbs.json
A listagem dos verbos será salva no arquivo verbs.json no diretório raiz do projeto.