Projeto realizado para processo seletivo
1 - Docker já instalado no dispositivo
2 - Clonar o repositório:
$ git clone https://github.com/lbetol/crawler_semantix.git
3 - Dentro do repositório clonado digitar o comando:
$ docker build -t crawlersemantix .
4 - Após a instalação da imagem docker, é só executar a imagem com o comando:
$ docker run crawlersemantix
Projeto realizado com o fremework Scrapy
Documentação do framework https://docs.scrapy.org/en/latest
Banco de dados SQLITE3
Dentro da pasta doc, a um diagrama de funcionamento da projeto.
Todos os arquivos que foram criados estão com comentários explicando o funcionamento.