Master en Data Science - Institución: Pontia.tech - Proyecto Jupiter
Introducción:
El proyecto Júpiter aborda el estudio de la detección de fraudes en operaciones bancarias mediante algoritmos de Aprendizaje Automático.Este proyecto tiene como objetivo principal terminar de unir los conceptos para el alumno de forma práctica.
La detección de transacciones fraudulentas es un reto debido a dos razones principales: en primer lugar, los comportamientos “normales” y “fraudulentos” de los usuarios cambian constantemente y, en segundo lugar, los conjuntos de datos de fraude en operaciones bancarias están muy sesgados (distribución de clases desequilibrada).
Problematica:
La empresa Pontia Bank S.L. necesita desarrollar un sistema de detección de transacciones fraudulentas. Esta compañía, tramita miles de transacciones diarias de todos sus clientes entre las cuales se quiere diferenciar entre las que son fraudulentas de las que no lo son. Para ello, se han extraído las transacciones realizadas en los últimos 30 días (más de 6 millones) e identificado (manualmente) aquellas que son fraudulentas.
Para desarrollar un sistema capaz de automatizar la tarea de detección de fraude hará falta seguir los siguientes pasos:
- Conectarse Y extraer los datos.
- Llevar a cabo un análisis exploratorio de los datos.
- Efectuar las tareas de limpieza del dataset necesarias.
- Si se requiere, utilizar técnicas de data augmentation.
- Identificar el problema y los objetivos.
- Fase de selección de datos.
- Selección del algoritmo.
- Entrenamiento y parametrización del algoritmo.
- Evaluación del modelo.
- Utilizar el modelo de detección de fraude a los datos en producción no etiquetados y generar un archivo con las predicciones. Este archivo debe poseer la siguiente información: identificador de la transferencia y resultado de la predicción (si es fraudulenta o no).
- Repetir las fases 5-10 con al menos dos algoritmos de los cuales al menos uno debe ser de Deep Learning y otro no.
Pontia Bank S.L. quiere auditar también estos desarrollos por lo que será necesario entregar uno o varios archivos en los que se registren todas las operaciones realizadas y sus salidas (puede ser un Jupyter Notebook, Google Colab u otro tipo de presentación en el que se pueda ver tanto el código como el resultado de su ejecución). Es preferible, que para poder obtener los mismos resultados si se vuelve a ejecutar, se fije una semilla aleatoria en los distintos algoritmos.
Descripción de los datos
El proyecto cuenta con 7 archivos json, a continuación se describen los archivos con su contenido:
-
alarma_fraude.json : archivo donde el sistema almacena un nuevo registro cuando detecta una posible transacción fraudulenta.
-
balances.json : de cada cliente se almacena una lista con todas sus transacciones (emitidas y recibidas), concretamente el t_id, el balance previo y el balance posterior a la operación.
-
clientes.json : por cada transaccion nos informa el ID de cliente de origen y el ID de cliente de destino.
-
cuantia.json : Nos informa la cuantia de la transacción por cliente
-
tiempo.json : archivo histórico en el que por cada unidad de tiempo se almacena una lista con los t_id que se han producido en dicha unidad de tiempo
-
tipo.json : nos informa el tipo de la transaccion: PAYMENT - TRANSFER - CASH_OUT - DEBIT - CASH_IN
-
es_fraude.json : archivo que almacena el etiquetado manual (que indica si son fraudulentas) de todas las transacciones, a excepción de los datos en producción no etiquetados que deben predecirse (los t_id de estas operaciones no aparecen en este archivo)