/cc6204-DeepLearning-DCCUChile

Material del curso de Deep Learning de la Universidad de Chile

Primary LanguageJupyter Notebook

CC6204 Deep Learning

Deep Learning es un curso electivo de pre y postgrado del departamento de Ciencias de la Computación de la Universidad de Chile. El objetivo del curso es introducir a los estudiantes al área de aprendizaje basado en red neuronales profundas, comúnmente conocida como Deep Learning. Las técnicas utilizadas en esta área han resultado fundamentales en los últimos avances en Inteligencia Artificial en particular tareas como procesamiento de lenguaje natural y visión computacional. Durante el curso los estudiantes serán expuesto a la teoría detrás de los modelos de Deep Learning, comprenderán el funcionamiento, los usos posibles, y serán capaces de construir y entrenar modelos que permitan solucionar problemas reales.


Unidad 1. Fundamentos

Capítulo 1. Introducción a redes neuronales modernas.

Los contenidos de este capítulo son:

  • Perceptrón, perceptrón multi- capa, funciones de activación, no linealidad.
  • Redes neuronales, cómo computan, qué no pueden computar, representación tensorial.
  • Álgebra tensorial y cálculo tensorial.
  • Funciones de error/pérdida y entrenamiento por descenso de gradiente.
  • Grafos de computación y el algoritmo de BackPropagation.

Bibliografía recomendada 1:

Tutoriales recomendados:

Capítulo 2. Algoritmos de aprendizaje, regularización y optimización.

Los contenidos de este capítulo son:

  • Descenso de gradiente estocástico.
  • Inicialización de parámetros, normalización, normalización de paquetes.
  • Aprendizaje adaptativo
  • Dropout
  • Penalización de parámetros

Bibliografía recomendada 1:

Capítulo 3. Aspectos prácticos de entrenamiento y aprendizaje.

Los contenidos de este capítulo son:

  • Conceptos clásicos de aprendizaje de máquina.
  • Métricas de eficiencia, baselines, overfitting, underfitting.
  • Búsqueda y selección de hiperparámetros.
  • Técnicas de debugging
  • Uso de GPUs en el entrenamiento
  • Organizando una solución basada en Machine Learning y Deep Learning.

Bibliografía recomendada 1:


Unidad 2. Redes convolucionales y aplicaciones.

Capitulo 4. Redes convolucionales

Los contenidos de este capítulo son:

  • Redes Neuronales convolucionales
  • Relación de CNN con el modelo biológico
  • Estudio de arquitecturas CNN del estado del arte.
  • Caffe y TensorFlow
  • Visualización de modelos CNN.
  • Búsqueda por Similitud usando Deep Features.
  • Hashing de vectores de características usando Deep Learning.
  • Class Activation Mapping.
  • Modelos de Deep Learning para Detección de Objetos (imágenes)
  • Modelos de Deep Learning para Segmentación de imágenes.

Bibliografía recomendada 1:


Unidad 3. Redes recurrentes y aplicaciones.

Capítulo 5. Redes recurrentes.

Los contenidos de este capítulo son:

  • Redes recurrentes
  • Backpropagation en el tiempo
  • Redes recurrentes bidireccionales.
  • Dependencias temporales a largo plazo.
  • Modelos con memoria externa explícita.
  • Aplicaciones en procesamiento de lenguaje natural y otras aplicaciones basadas en secuencias.

Bibliografía recomendada 1:


Unidad 4. Tópicos avanzados.

Capítulo 6. Tópicos avanzados.

En este capítulo se elegirán de entre siguientes contenidos:

  • Introducción a los Modelos Generativos.
  • Autoencoders
  • Autoencoder Variacionales
  • Generative Adversarial Networks
  • Neural Turing Machine (NeuralTM).
  • Computación Neuronal Derivable (DNC).
  • CapsNet.

Bibliografía recomendada 1:


1: El libro Deep Learning será utilzado como guía durante gran parte del curso.