web-crawler-desafio-turivius

šŸ“ Sobre a aplicaĆ§Ć£o

O desafio consiste em criar um programa que, a partir de uma query, faz uma pesquisa na wiki da distribuiĆ§Ć£o Arch Linux (https://wiki.archlinux.org/) e devolve a primeira pĆ”gina encontrada, em plain text, ao usuĆ”rio.

šŸ“‘ Features

  • Interface CLI: Tratamento e execuĆ§Ć£o apenas por linha de comando, recebendo um Ćŗnico argumento (--query/q)
  • Aviso quando a pĆ”gina nĆ£o foi encontrada: Uma simples mensagem de "not found".
  • Retorno da pĆ”gina completa, em plain text.: Ou seja, todos os dados da pĆ”gina retornadas em texto (sem tags HTML ou qualquer tipo de sujeira)

šŸ“‘ ExecuĆ§Ć£o

O arquivo pode ser executado facilmente com "python3 crawler.py [QUERY]"

šŸ”Ø Bibliotecas utilizadas

  • requests: biblioteca para execuĆ§Ć£o de requisiƧes (HTTP), integrando programas .py em web services
  • BeautifulSoup: biblioteca para coleta e tratamento de dados da web.
  • click: biblioteca para tratamento e contruĆ§Ć£o da interface CLI.