Gradiente explosivo

Exploding gradient

También: Exploding gradient, Explosión del gradiente

Problema en el que los gradientes crecen hasta valores muy grandes durante la retropropagación.

Definición técnica

Crecimiento de la norma del gradiente por productos repetidos de Jacobianos con magnitud superior a uno, causando actualizaciones inestables.

Camilo Boo

Automatización de procesos, integración de sistemas y software a medida para reducir tareas manuales y mejorar el control operativo.

Navegación

Puede provocar divergencia, valores no numéricos y pérdida de ejecuciones de entrenamiento.

Identificar una fuente de inestabilidad numérica en redes profundas o recurrentes.

La regla de la cadena amplifica repetidamente ciertas direcciones del gradiente.

Ejemplo práctico

La pérdida se dispara y los pesos cambian bruscamente tras una actualización.

Ejemplo empresarial

Un entrenamiento largo falla al final por valores infinitos y debe reiniciarse con controles adecuados.

No es lo mismo que un error grande de predicción; describe magnitud y estabilidad de derivadas.

El umbral problemático depende de optimizador, escala y precisión numérica.

Puede corromper checkpoints o generar resultados no reproducibles si no se detecta.

El gradiente explosivo vuelve inestables las actualizaciones al amplificar excesivamente la señal.

Nivel: Técnico
Categorías: Deep Learning
Recorridos: Diccionario técnico para profesionales Índice alfabético completo de términos

PDF gratuito

Una selección editorial para consultar conceptos relacionados fuera de la web.

Understanding the difficulty of training deep feedforward neural networks
Proceedings of Machine Learning Research · Autor: Xavier Glorot and Yoshua Bengio · Publicación científica · Publicado el 13 de mayo de 2010
Analiza saturación, propagación de gradientes e inicialización de redes profundas.
Deep learning
Nature · Autor: Yann LeCun, Yoshua Bengio and Geoffrey Hinton · Publicación científica · Publicado el 27 de mayo de 2015
Revisión científica sobre representaciones multinivel, retropropagación y familias profundas.