En este repositorio encontrarás las notas para el curso de Métodos Estadísticos Bayesianos. Material adicional será proporcionado durante clases.
Módulo 1. Introducción al modelado probabilístico
Tema 1. Presentación del curso.
- Guía de aprendizaje, herramientas computacionales y repositorio de contenidos del curso.
Tema 2. Recorderis de probabilidad.
- Espacio de probabilidad, probabilidad conjunta, marginal y condicional, independencia, regla de la cadena y regla de Bayes.
Tema 3. Estimadores de máxima verosimilitud: problema de overfitting.
- Modelos probabilísticos e inferencia.
- Estimadores de máxima verosimilitud.
- Ajuste de curvas desde una perspectiva probabilística.
Tema 4. Enfoque Bayesiano: regularización y distribuciones previas conjugadas.
- Distribución previa como regularizador.
- Enfoque Bayesiano vs. enfoque frecuentista.
- Distribuciones conjugadas y cálculo analítico de la distribución posterior.
Tema 5. Aplicación: regresión Bayesiana.
- Modelado probabilístico de parámetros en la regresión lineal.
Módulo 2. Variables latentes, Algoritmo de maximización de la esperanza e inferencia aproximada
Tema 6. Modelos con variables latentes - Repaso de algoritmo K-Means.
- ¿Qué es una variable latente?, ¿Para qué incluir variables latentes?
- Hard clustering: repaso de algoritmo K-Means.
- Soft clustering: clustering probabilístico, GMM (modelo de mezclas Gaussianas), entrenamiento de GMM.
Tema 7. Algoritmo de maximización de la esperanza.
- Divergencia de Küllback-Leibler, desigualdad de Jensen.
- Algoritmo de maximización de la esperanza.
- Explicando K-Means y PCA desde una perspectiva probabilística.
Tema 8. Inferencia variacional.
- ¿Por qué inferencia aproximada?
- Aproximación de campo media.
- Maximización de la esperanza e inferencia variacional.
Tema 9. Asignación de Dirichlet latente.
- Modelamiento de tópicos.
- Distribución de Dirichlet.
- Asignación de Dirichlet latente (LDA).
- Extensiones de LDA.
Módulo 3. Markov Chain Montecarlo (MCMC)
Tema 10. Estimación Montecarlo y cadenas de Markov.
- Muestreo de distribuciones univariadas.
- Estimación Montecarlo.
- Cadenas de Markov.
Tema 11. Muestreo de Gibbs y algoritmo de Metropolis-Hastings.
- Muestreo de Gibbs. Ejemplo.
- Algoritmo de Metropolis-Hastings. Ejemplo.
- MCMC para LDA.
Módulo 4. Procesos Gaussianos y Optimización Bayesiana
Tema 12. Procesos Gaussianos.
- Métodos no paramétricos.
- Procesos Gaussianos.
Tema 13. Optimización Bayesiana.
- Optimización Bayesiana.
- Aplicaciones.