Aplicaciones de la reguralización en Machine Learning

BB.png

WHAT WE DO

BB2.png

1. Regresiones lineales y su regularización

​Repaso Espacios de Probabilidad y Variables Aleatorias

Definición formal de sobre-ajuste

Método de Gauss para mínimos cuadrados: caso inyectivo

Repaso de inversión de matrices y cálculo diferencial

Soluciones exactas y analíticas (método del gradiente)

Cualidades estadísticas del método de Gauss

Test estadísticos e intervalos de confianza

Caso no inyectivo y regularización de Ridge (norma L2)

Regularización de Lasso y comparación (norma L1)

Repaso de distribuciones continuas y Teorema Límite Central

Interpretación Bayesiana Ridge (Normal) y Lasso (Laplace)

Regresiones robustas (OPCIONAL)



2. Redes neuronales y su regularización

Algoritmo del Perceptrón clásico

Justificación teórica del Perceptrón en el caso lineal

Solución analítica (on-line) del Perceptrón

Regularización del Perceptrón y SVM

Redes neuronales en general

Regularización en general para redes neuronales



3. Árboles de decisión y su regularización

Clasificación no lineal

Definición formal de los árboles de decisión

El concepto de entropía

Álgoritmos de aprendizaje

Regularización para árboles de decisión



4. Estabilidad

Estabilidad y regularización

Estabilidad en regresiones logísticas

Estabilidad en boosting

Estabilidad en máquinas de soporte vectorial

TEMARIO