Deep Learning es un curso electivo de pre y postgrado del departamento de Ciencias de la Computación de la Universidad de Chile. El objetivo del curso es introducir a los estudiantes al área de aprendizaje basado en red neuronales profundas, comúnmente conocida como Deep Learning. Las técnicas utilizadas en esta área han resultado fundamentales en los últimos avances en Inteligencia Artificial en particular tareas como procesamiento de lenguaje natural y visión computacional. Durante el curso los estudiantes serán expuesto a la teoría detrás de los modelos de Deep Learning, comprenderán el funcionamiento, los usos posibles, y serán capaces de construir y entrenar modelos que permitan solucionar problemas reales.
Los contenidos de este capítulo son:
- Perceptrón, perceptrón multi- capa, funciones de activación, no linealidad.
- Redes neuronales, cómo computan, qué no pueden computar, representación tensorial.
- Álgebra tensorial y cálculo tensorial.
- Funciones de error/pérdida y entrenamiento por descenso de gradiente.
- Grafos de computación y el algoritmo de BackPropagation.
Bibliografía recomendada 1:
Tutoriales recomendados:
Los contenidos de este capítulo son:
- Descenso de gradiente estocástico.
- Inicialización de parámetros, normalización, normalización de paquetes.
- Aprendizaje adaptativo
- Dropout
- Penalización de parámetros
Bibliografía recomendada 1:
Los contenidos de este capítulo son:
- Conceptos clásicos de aprendizaje de máquina.
- Métricas de eficiencia, baselines, overfitting, underfitting.
- Búsqueda y selección de hiperparámetros.
- Técnicas de debugging
- Uso de GPUs en el entrenamiento
- Organizando una solución basada en Machine Learning y Deep Learning.
Bibliografía recomendada 1:
Los contenidos de este capítulo son:
- Redes Neuronales convolucionales
- Relación de CNN con el modelo biológico
- Estudio de arquitecturas CNN del estado del arte.
- Caffe y TensorFlow
- Visualización de modelos CNN.
- Búsqueda por Similitud usando Deep Features.
- Hashing de vectores de características usando Deep Learning.
- Class Activation Mapping.
- Modelos de Deep Learning para Detección de Objetos (imágenes)
- Modelos de Deep Learning para Segmentación de imágenes.
Bibliografía recomendada 1:
Los contenidos de este capítulo son:
- Redes recurrentes
- Backpropagation en el tiempo
- Redes recurrentes bidireccionales.
- Dependencias temporales a largo plazo.
- Modelos con memoria externa explícita.
- Aplicaciones en procesamiento de lenguaje natural y otras aplicaciones basadas en secuencias.
Bibliografía recomendada 1:
En este capítulo se elegirán de entre siguientes contenidos:
- Introducción a los Modelos Generativos.
- Autoencoders
- Autoencoder Variacionales
- Generative Adversarial Networks
- Neural Turing Machine (NeuralTM).
- Computación Neuronal Derivable (DNC).
- CapsNet.
Bibliografía recomendada 1:
1: El libro Deep Learning será utilzado como guía durante gran parte del curso.