Dropout

También: Dropout regularization, Regularización por abandono

Regularización que desactiva aleatoriamente unidades durante el entrenamiento.

Definición técnica

Procedimiento estocástico que multiplica activaciones por una máscara Bernoulli y ajusta su escala para aproximar un conjunto de redes reducidas.

Puede reducir sobreajuste, aunque introduce ruido de entrenamiento y no sustituye la validación.

Camilo Boo

Automatización de procesos, integración de sistemas y software a medida para reducir tareas manuales y mejorar el control operativo.

Navegación

Evitar coadaptaciones excesivas y mejorar generalización.

Aplica máscaras aleatorias al entrenar y usa todas las unidades con el escalado correspondiente al inferir.

Ejemplo práctico

En cada batch se anula al azar una fracción de activaciones de una capa.

Ejemplo empresarial

Una red con muchos parámetros usa dropout para reducir dependencia de señales concretas.

No elimina neuronas de forma permanente ni debe permanecer activo igual durante inferencia.

Puede ralentizar convergencia y no siempre mejora arquitecturas con otras regularizaciones.

Una tasa excesiva destruye información; una configuración incorrecta en producción hace la salida inestable.

Dropout regulariza con omisiones aleatorias solo durante entrenamiento.

Nivel: Técnico
Categorías: Deep Learning
Recorridos: Diccionario técnico para profesionales Índice alfabético completo de términos

PDF gratuito

Una selección editorial para consultar conceptos relacionados fuera de la web.

Deep learning
Nature · Autor: Yann LeCun, Yoshua Bengio and Geoffrey Hinton · Publicación científica · Publicado el 27 de mayo de 2015
Revisión científica sobre representaciones multinivel, retropropagación y familias profundas.
Dropout: A Simple Way to Prevent Neural Networks from Overfitting
Journal of Machine Learning Research · Autor: Nitish Srivastava, Geoffrey Hinton, Alex Krizhevsky, Ilya Sutskever and Ruslan Salakhutdinov · Publicación científica · Publicado el 1 de junio de 2014
Artículo original que propone omitir unidades aleatoriamente durante el entrenamiento.