Repositorio para atividade referente a aula de Web Scrapy - MBA de BI e BIG DATA.

Avaliação 1:

  1. Implemente um programa que entre no site do UOL e imprima apenas a seguinte mensagem: A cotação atual do dólar é: <cotação>, onde <cotação> vai ser o valor capturado do site no momento. Procure uma forma de omitir as mensagens de log na execução do seu programa para aparecer apenas essa mensagem como saída.

#Resposta: cotacao.csv

  1. Implemente um programa que receba um produto como parâmetro e liste o nome e o preço de todos esses produtos no mercado livre, com paginação incluída. Busque uma forma de passar um parâmetro para o seu programa.

#Resposta: precos.json

  1. Quais cuidados devem ser observados ao capturar dados de um site?

#Resposta: Se os dados capturados não têm direitos autorais, se os não dados não onera os serviços do site, se não coletam informações senvíveis e se não viola os termos de uso do site.

  1. Quais ameaças capturas automáticas proporcionam para sistemas web?

#Resposta: Crawlers é uma prátrica simples de TI, por isso os sites precisam manter um nível de segurança contra entres ataques, e as formas legais de combater esses ataques ainda estão muito obscuras. Impossibilitando ainda mais de combater judicialmente quem lhe roubou os dados.

  1. Você diria que bots ou crawlers são programas facilmente paralelizáveis? Se sim, explique como isso seria implementado dando um exemplo.

#Resposta: Sim, porque são tarefas independentes umas das outras, elas não fazem trocas de informações e podem ser execultadas em qualquer ordem, por exemplo se eu quisesse extrair só os preços dos produtos de uma pesquisa no mercado livre, nada interfere de eu apenas coletar toda a informação referente a pesquisa.