En este proyecto vamos a analizar y visualizar las tendencias mundiales en la red social Twitter. Estas tendencias aparecen en la categoría "What's happening". Para ello crearemos una ETL (Extracción, Transformación, Carga) que haga una llamada a la api de Twitter y cargue los datos a una base de datos local en AirTable.
Aprovecharemos la actual actividad en Twitter sobre el Mundial de fútbol para hacer un análisis más detallado sobre la cantidad de tweets sobre el Mundial por cada país y su evolución temporal.
Acceder a la API Twitter y obtener los credenciales para hacer las consultas. Es necesario extender el nivel de autorizacion de Esential a Elevated para obtener los permisos necesarios para llevar a cabo este proyecto.
Utilizaremos Tweepy para interactuar con la api. Tweepy ofrece una interfaz más sencilla y fácil de utilizar.
La documentación de Tweepy la encontramos aquí: https://docs.tweepy.org/en/stable/api.html
Las busquedas de tendencias por lugar de Twitter se hacen a tarvés del código WOE del país o ciudad. Para poder buscar por el codigo de los paises necesitamos un diccionario con el nombre de cada pais y su correspondiente código WOE.
Encontramos el archivo con los codigos WOE aquí: https://codebeautify.org/jsonviewer/f83352
Extraer la información relevante sobre los top_trend de cada pais en tiempo real y transformar los datos a un json que tenga la estructura deseada para hacer la carga a una base de datos.
Almacenar esta información en una base de datos local como AirTable. El nombre de las columnas es el mismo que en la base de datos, nos aseguramos de que el tipo de datos en cada columna sea el correcto para que la carga se lleve acabo satisfactoriamente.
| Nombre | str |
| Pais | str |
| Fecha | str |
| Url | url |
| Consulta | str |
| Volumen de tweets | float (no almacena Nan) |
Extraer los datos totales de AirTable y transformarlos a un DataFrame para que sean más accesibles.
Visualizar la información en un mapa folium que represente a modo de pop-up el Top 10 de tendencias en cada país.
Analizar la actividad en Twitter sobre el Mundial. Para ello tomamos como valores a medir la cantidad y frecuencia con la que se usan los hashtags oficiales en cada país en un mapa Choropleth. Y una línea de evolución temporal de la actividad en gráficos Plotly.
Nota: Los hashtags estan disponibles desde el 17 de noviembre hasta el 31 de Diciembre de 2022.
Marta Búa Fernández ➡️ Ir al perfil de LinkedIn
Laura Arufe Jorge ➡️ Ir al perfil de LinkedIn