/instagram-nsfw-webapp

Simple Website in Bootstrap 3 for NSFW assessment in suggested profiles

Primary LanguageJavaScript

Instagram NSFW Webapp

Este proyecto toma como bases las rutinas generadas bajo el proyecto Instagram Scrapping: contribución Departamento de Ideas Locas Telefónica CDO. Ver enlace para más detalles sobre esta primera PoC.

Haciendo uso del motor desarrollado en la Prueba de Concepto anteriormente desarrollada, se ha creado una Aplicación Web sencilla usando Python Flask y Bootstrap 3.

Para descargar este repositorio, simplemente ejecutar en consola:

$ git clone https://github.com/eblancoh/instagram-nsfw-webapp.git

Ejemplo de uso

Resumen de uso

En esta PoC se hace uso tanto de los siguientes WebDrivers para poder hacer el scrapping del contenido HTML:

Hay que incluir en el PATH las rutas en las que los drivers se encuentren. Para Linux basta con ejecutar:

$ export PATH=$PATH:/path/to/driver/chrome-driver
$ export PATH=$PATH:/path/to/driver/gecko-driver

Para añadir al PATH en Windows, se pueden seguir los siguientes pasos.

Levantando la página web en local

python instagram_scrapper/app.py

Tras ejecutar este comando se levantará un servidor al que se puede acceder a través de la ruta:

http://localhost:5000/

Esto nos dirige a la página que nos permitirá lanzar el proceso de scrapping del perfil privado.

Lanzando una consulta sobre perfil privado

Página de login y comienzo de búsqueda

Requisitos:

  • Tener un perfil de Instagram. Las credenciales a usar se introducen en la página de login.
  • El perfil a scrapear debe ser privado (perfil objetivo).

Se lanza la búsqueda y se dan los siguientes pasos:

  1. Se comprueba que se produce satisfactoriamente el login en Instagram.
  2. Se comprueba que el usuario objetivo existe.
  3. Se accede al perfil y se comienza a obtener a información en la que estamos interesados a través de Selenium y BeautifulSoup.

Con la información obtenida se hace uso de Nudity image detection HTTP API. Este proyecto proporciona una API REST lista para implementar que permite predecir si una imagen es ofensiva o tiene contenido para adultos.

Tras esperar a que todo el contenido de interés se haya otenido mediante scrapping, obtendremos otra vista con el nivel de exposición de la cuenta privada, así como un resumen de las scores NSFW de las imágenes obtenidas.

Levantando la página web en Heroku

Heroku es una Plataforma como servicio (PaaS) que nos abstrae de tratar con servidores, todo lo que tenemos que hacer es registrarnos, descargar algunas herramientas y luego cargar nuestro código en la plataforma sin esfuerzo.

Instalando un servicio web llamado gunicorn

$ pip install gunicorn

Creamos un fichero requirements.txt

$ pip freeze > requirements.txt

El cual ya está incluido en el actual repositorio.

Creando un fichero Procfile

Debemos crear el fichero Procfile sin extensión y con la P mayúscula e incluir lo siguiente:

web: gunicorn app:app

Aquí Heroku usa la web para iniciar un servidor web para la aplicación; app:app indica que el módulo y el nombre de la aplicación en nuestro caso. Recomendamos hacer un fork del presente repo para posteriormente crear una app en Heroku.

Creando una app en Heroku

Antes de crear una aplicación, hay que asegurarse de que su cuenta de GitHub esté conectada con la cuenta de Heroku

Creando una app en Heroku

Agregando algunos Builpacks y variables de entorno a Heroku:

Hay que agregar los siguientes buildpacks en Heroku para que el scrapping sea satisfactorio:

Hay que crear las variables de entorno:

  • GOOGLE_CHROME_BIN, con la ruta de chrome en heroku: /app/.apt/usr/bin/google-chrome
  • CHROMEDRIVER_PATH con la ruta de chromedriver en heroku: /app/.chromedriver/bin/chromedriver.

Creando una app en Heroku

En el archivo puppeteer.py, se debe configurar chromedriver:

chrome_options.binary_location = os.environ.get('GOOGLE_CHROME_BIN')
chrome_options.add_argument('--headless')
chrome_options.add_argument('--disable-gpu')
chrome_options.add_argument('--disable-dev-shm-usage')
chrome_options.add_argument('--no-sandbox')
self.browser = webdriver.Chrome(executable_path=os.environ.get('CHROMEDRIVER_PATH'), 
chrome_options=chrome_options)

Desplegando una app en Heroku desde GitHub

Posteriomente seleccionamos el repositorio de GitHub y elegimos la rama a desplegar.

Creando una app en Heroku

Tras desplegar, deberemos esperar un poco para poder hacer uso del servicio.

Haciendo uso de la app

Una vez dezplegada, simplemente debemos ir a la siguiente ruta para comenzar a usarla. https://instagram-nsfw-webapp.herokuapp.com/

Licencia

This is free and unencumbered software released into the public domain.

Anyone is free to copy, modify, publish, use, compile, sell, or distribute this software, either in source code form or as a compiled binary, for any purpose, commercial or non-commercial, and by any means.

In jurisdictions that recognize copyright laws, the author or authors of this software dedicate any and all copyright interest in the software to the public domain. We make this dedication for the benefit of the public at large and to the detriment of our heirs and successors. We intend this dedication to be an overt act of relinquishment in perpetuity of all present and future rights to this software under copyright law.

THE SOFTWARE IS PROVIDED "AS IS", WITHOUT WARRANTY OF ANY KIND, EXPRESS OR IMPLIED, INCLUDING BUT NOT LIMITED TO THE WARRANTIES OF MERCHANTABILITY, FITNESS FOR A PARTICULAR PURPOSE AND NONINFRINGEMENT. IN NO EVENT SHALL THE AUTHORS BE LIABLE FOR ANY CLAIM, DAMAGES OR OTHER LIABILITY, WHETHER IN AN ACTION OF CONTRACT, TORT OR OTHERWISE, ARISING FROM, OUT OF OR IN CONNECTION WITH THE SOFTWARE OR THE USE OR OTHER DEALINGS IN THE SOFTWARE.