VMijangos/Redes_Neuronales

Repositorio del curso de Redes neuronales, en la Facultad de Ciencias, UNAM.

Redes Neuronales

Repositorio del curso de Redes neuronales, en la Facultad de Ciencias, UNAM.

Objetivo del curso:

El curso comprenderá el modelo matemático de la red neuronal que da pie a las redes neuronales artificiales y su generalización. Se revisarán los temas más prominentes sobre redes neuronales: su modelación, el concepto de arquitectura y el proceso de aprendizaje que conllevan. Asimismo, se profundizará en algoritmos específicos de la familia de redes neuronales, como es el Perceptrón, las redes FeedForward, las redes recurrentes, entre otras. Dentro de esto, se buscará comprender los diferentes problemas que corresponden a cada uno de estos modelos (problemas secuenciales, de clasificación, de regresión, de estimación probabilística). También se profundizará en la implementación de las redes neuronales, tanto la programación de los módulos básicos, como el uso de paquetería especializada en estos (tensorflow, pytorch). Además de los algoritmos típicos dentro de la familia de redes neuronales, se impulsará la creación de nuevas arquitecturas que respondan a problemas específicos. Se abordará también la teoría de aprendizaje geométrico profundo que plantea un marco matemático para el planteamiento de diferentes arquitecturas a problemas estructurados.

Temario

1. Introducción

•   1.1 Panorama histórico de las redes neuronales
•   1.2. Justificación del uso de redes neuronales
•   1.3. Modelo biológico de la neurona
•   1.4. Definición provisional de red neuronal

2. Teoría de aprendizaje estadístico

•   2.1. Definición de aprendizaje
•   2.2.Aprendizaje supervisado, no supervisado, por refuerzo
•   2.3. Modelos generativos y discriminativos
•   2.4. Entrenamiento y evaluación
•   2.5. Ejemplo: Regresión lineal

3. Perceptrón

•   3.1. Definición del perceptrón
•   3.2. Regla de aprendizaje en el perceptrón
•   3.3. Teorema de convergencia
•   3.4. Funciones lógicas y límites del perceptrón

4. Redes FeedForward

•   4.1. Capas ocultas en las redes neuronales
•   4.2. Funciones de activación
•   4.3. Teoremas del aproximador universal
•   4.4. Complejidad de redes FeedForward
•   4.5. Redes profundas

5. Aprendizaje en redes multicapa

•   5.1. Problema de aprendizaje en redes multi-capa
•   5.2. Gradiente descendiente
•   5.3. Otros optimizadores (Adagrad, Adam, RMSProp,...)
•   5.4. Backpropagation
•   5.5. Aceleración del entrenamiento mediante GPU
•   5.6. Métodos de regularización (Tychonoff, Dropout)

6. Redes neuronales recurrentes

•   6.1. Capas recurrentes
•   6.2. Backpropagation Through Time
•   6.3. Tipos de redes recurrentes
•   6.4. Redes bidireccionales
•   6.5. Long-Short Term Memory (LSTM) y Gated Recurrent Unit (GRU)

7. Redes neuronales no supervisadas

•   7.1. Máquinas de Boltzman
•   7.2. AutoEncoders

8. Redes generativas adversariales (GANs)

•   8.3. Redes generativas
•   8.4. Redes generativas adversariales

9. Aprendizaje geométrico profundo

•   9.1. Estructura y grupo de simetrías
•   9.2. DeepSets
•   9.3. Redes convolucionales
•   9.4. Redes atencionales (Transformers)
•   9.5. Redes neuronales de gráficas