El web scraping consiste en navegar automáticamente una web y extraer de ella información. Esto puede ser muy útil y bastante frecuente, sin ir más lejos Google "scrapea" la red constantemente para que su buscador funcione corretamente. Para ello utlizamos "bots" que son programas informáticos que efectúa automáticamente tareas repetitivas a través del navegador.
El objetivo de este taller es hacer una pequeña introducción a esta técnica. Todo el flujo de trabajo los tenemos dividido en carpetas, y es el siguiente:
1. Selectores
En este parte vamos a utilizar los selectores para familiarizarnos con la obtención de información desde el DOM. Seguramente hay cosas que consideres obvias, pero nunca viene mal recordarlas.
¡¡ Al turrón !!
2. Puppeteer
Aquí, ya tenemos más enjundia y vamos a obtener la información sin que seamos nosotras las que manipulemos el DOM. Para ello vamos a utilizar Puppeteer. Puppeteer es una librería de NodeJS que permite controlar Chrome sobre el protocolo de DevTools; permitiéndonos, de ésta manera, realizar acciones sobre una web como si de una persona se tratase.
¡¡ Rock and roll !!
3. Mapa
Nos ha parecido interesante que podamos hacer una visualización de todo el contenido que hemos "scrapeado" en los pasos anteriores. La mejor manera que se nos ha ocurrido es haciendo un mapa. Para ello nos vamos a servir del API para Javascript de ArcGIS ¡¡ Despliega tu magia !!