Desafio PontoTel

Este projeto foi criado para a participação no processo seletivo da Empresa PontoTel. O Desafio consiste na criação de uma API, escrita em python 3.7, que receba os seguintes parâmetros:

Uma lista de URLs
Uma palavra qualquer

A API deve ser capaz de fazer um crawler no site informado e retornar uma resposta contendo um json com a quantidade de ocorrências da palavra informada, por site.

Endpoint API: localhost:8000/v1/crawler - Método POST

Para mais informações acerca da documentação da API, acesse o site do Swagger Editor e importe o arquivo doc_api_crawler.yaml (Na barra superior: File -> Import File).

Dependências Utilizadas

Para este desafio foram utilizadas as seguintes dependências:

Python 3.7
- É uma das versões mais novas desta linguagem.
Framework Web Sanic
- Muito semelhante ao Flask e que suporta manipuladores de solicitação assíncrona, além de ter uma boa documentação.
AIOHTTP
- Fazer a coleta do HTML de uma determinada url de forma assíncrona, assim aumentando a performance da API.
Html2text
- Possibilita fazer a coleta dos dados que estão contidos nas tags HTML de um determinado site.
Marshmallow
- Realizar a validação do tipo dos dados vindos na requisição.
Validators
- Verificar se as urls recebidas pela API são válidas ou não.
Swagger Editor
- Software que possibilita projetar, descrever e documentar APIs.
Pytest
- Realização dos testes de nossa API.
Redis
- O Redis é um armazenamento de estrutura de dados de chave-valor de código aberto e na memória. Ele foi utlizado para a construção do sistema de cache, em conjunto com o Framework Web Sanic.

Criação do ambiente e Execução

Antes de executar o projeto, verifique se o Redis está instalado em seu computador. Caso precise instalar, siga as instruções descritas no site oficial.

Após essa verifica, inicie o redis com o seguint comando:

<path-to-redis-directory>/src/redis-server

Agora que o servidor redis foi inicializado, podemos realizar a execução de nosso projeto.

Tem duas maneiras possíveis para a execução deste projeto:

1. Utilizando Python 3.7 instalado em seu computador

Primeiramente verifique se o Python 3.7 está instalado em seu sistema. Caso não esteja, procure mais informações de como realizar a sua instalação entrando no site oficial do Python.

Com a versão correta instalada, é preciso fazer a instalação das dependências do projeto. Para isso, abra uma instância do seu terminal e execute o comando abaixo:

pip3 install -r requirements/requiremenst.txt

Isso fará com que o ambiente da aplicação seja instalado em seu computador.

Para a execução do projeto, execute o seguinte comando:

python3 run.py

Isso fará com que o servidor seja inicializado na porta 8000, possibilitando com que a API seja acessada. Para a verificação dos resultados de resposta da API, foi utilizado o software Postman. Segue abaixo um json de exemplo para que verificação da resposta:

    {
        "urls":["https://www.getpostman.com/", "https://www.python.org/", "https://swagger.io/"],
        "word": "Python"
    }

Utlizando o JSON exemplificado acima e o enviando no corpo da requisição HTTP para o endpoint /v1/crawler, usando o método POST, a API retorna o seguinte resultado:

{
    "crawler_results": [
        {
            "url": "https://www.getpostman.com/",
            "number_of_repititions": 0,
            "status": true
        },
        {
            "url": "https://www.python.org/",
            "number_of_repititions": 66,
            "status": true
        },
        {
            "url": "https://swagger.io/",
            "number_of_repititions": 0,
            "status": true
        }
    ]
}

2. Utilizando Docker

Para a execução usando docker, primeiramente verifique se está instalado em seu computador. Caso não esteja, entre no site oficial do Docker e siga as instruções para a sua instalação.

Com o docker instalado, abra o terminal e execute o seguinte comando:

docker build -t api-crawler .

Isso fará com que a imagem docker da aplicação seja criada, possibilitando a criação do container para execução do projeto. Para isso, execute o comando abaixo:

docker run -d -p 8000:8000 api-crawler

Após isso, faça os mesmos passos descritos no item anterior para efetuar o acesso a API.

Caso você tenha o docker-compose instalado em sua máquina, execute o comando a seguir e ele fará o mesmo processo descrito nos dois passos anteriores. Para isso execute:

docker-compose up

Dificuldades encontradas

Encontrar uma maneira de fazer a coleta dos dados presentes entre as tags HTML, fazendo isso de um modo em que fosse independente de como a página é estruturada;
Entender o funcionamento da biblioteca Asyncio do python, pois nunca estudei/trabalhei com alguma aplicação que usasse o conceito de programação assíncrona;
Encontrar um Framework Web Python que fosse assíncrono e tivesse uma documentação boa e simples, além de ser fácil de utilizar;
Realizar a integração entre o módulo que realizava a operação de crawler e a API;
Encontrar alguma biblioteca que fizesse o processo de coleta do HTML de forma assíncrona, para aumentar o desempenho da aplicação.