/web-scraping

Documents used for web scraping classes

Primary LanguageJupyter NotebookMIT LicenseMIT

web-scraping

Documents used for web scraping classes

Maneiras de Burlar Firewalls

1. Mudar User Agent

O User Agent é uma parte essencial do protocolo HTTP, atuando como uma identificação do software que está acessando um recurso na web. Em termos simples, é uma sequência de caracteres que o navegador ou aplicativo envia para o servidor da web para informar sobre si mesmo.

Os sites frequentemente usam o User Agent para determinar como servir conteúdo aos usuários. Além disso, alguns sites podem restringir ou bloquear o acesso de determinados agentes de usuário para evitar atividades automatizadas, como web scraping.