/smart-disks-d3qn

This project aims to find a possible solution to a search problem in a given environment with two players using Deep Reinforcement Learning. Additionally, after one player finds the other, the task shifts to maintaining visibility for the longest possible time

Primary LanguagePythonMIT LicenseMIT

SmartDisks (IN PROGRESS ....)

Este proyecto pretende encontrar una posible solución a un problema de búsqueda en un entorno dado con dos jugadores utilizando Deep Reinforcement Learning. Además, luego de encontrar un jugador al otro la tarea cambia a mantener en visibilidad el mayor tiempo posible.

  • Descripción del problema
  • Memoria y estados
  • Función de recompensa
  • Algoritmo utilizado
  • Arquitectura de NN
  • Curriculum Learning
  • Detalles del entrenamiento
  • Resultados de entrenamiento
  • Resultado de prueba

Descripción del entorno

El programa está diseñado en Pygame y consta de las siguientes características:

Características Descripción
Dimensiondes del entorno 200x200 px
Obstáculos Paredes en los bordes del entorno con ancho de 20px
Jugadores Discos con radio de 8px (azul → perseguidor, rojo → evasor )
Entorno

Descripción de los jugadores

Características Descripción
Acciones
  • "NO ACTION": No desplazarse
  • "LEFT": Desplazamiento de 2px hacia la izquierda
  • "UP": Desplazamiento de 2px hacia arriba
  • "RIGHT": Desplazamiento de 2px hacia la derecha
  • "DOWN": Desplazamiento de 2px hacia abajo
  • "DOUBLE-LEFT": Desplazamiento de 4px hacia la izquierda
  • "DOUBLE-UP": Desplazamiento de 4px hacia arriba
  • "DOUBLE-RIGHT": Desplazamiento de 4px hacia la derecha
  • "DOUBLE-DOWN": Desplazamiento de 4px hacia abajo
Sensores
  • Cámara panorámica del entorno
  • Láser desde la posición del jugador hacia las 4 direcciones hacia donde se puede desplazar

Arquitectura de red neuronal

Experience Replay

Training results

Training results

Training results