/crawler-aula-weekit

Projeto criado para o minicurso de Crawler no weekit 2019 do IFBA -VCA

Primary LanguageJavaScript

Requerimentos para começar

Obs: Todo teste foi executado utilizando o sistema Ubuntu 18.04. Para outros sistemas operacionais poderá ocorrer algumas pequenas modificações. Qualquer dúvida, acesse a documentação oficial da ferramenta.

Criar ambiente de desenvolvimento

Criação do ambiente virtual na pasta raiz do projeto

virtualenv venv

Ativação do ambiente

source venv/bin/activate

Instalar pacotes request, beautifulsoup4 e Flask

pip install request
pip install beautifulsoup4
pip install Flask

Estrutura do projeto

  • venv - Ambiente virtual com os pacotes instalados
  • app - Toda a aplicação
    • __init__.py - Insere as configurações do Flask
    • controller.py - Rotas e metodos para chamar o crawler
    • crawlers
      • __init__.py
      • noticias.py - Crawler responsável por pegar as noticias do site
  • config.py - Configurações do Flask
  • run.py - Comando para executar a aplicação

Possíveis erros