Gradiente desvanecido

Vanishing gradient

También: Vanishing gradient, Desaparición del gradiente

Problema en el que los gradientes se vuelven muy pequeños al atravesar muchas operaciones.

Definición técnica

Decaimiento de derivadas acumuladas durante la retropropagación, a menudo por productos repetidos de Jacobianos con magnitud inferior a uno.

Camilo Boo

Automatización de procesos, integración de sistemas y software a medida para reducir tareas manuales y mejorar el control operativo.

Navegación

Puede hacer que capas tempranas aprendan muy lentamente y que entrenamientos costosos no mejoren.

Nombrar y diagnosticar una causa de dificultad al entrenar redes profundas.

La regla de la cadena multiplica factores que reducen progresivamente la señal del gradiente.

Ejemplo práctico

Las primeras capas reciben actualizaciones casi nulas después de multiplicar muchas derivadas pequeñas.

Ejemplo empresarial

Un modelo consume recursos durante horas sin aprender características iniciales útiles.

No es simplemente pérdida alta ni ausencia total de gradientes en todos los parámetros.

Su medición depende de capa, batch, arquitectura y momento del entrenamiento.

Ignorarlo puede llevar a aumentar datos o cómputo sin corregir la causa.

El gradiente desvanecido impide que la señal de aprendizaje alcance eficazmente capas anteriores.

Nivel: Técnico
Categorías: Deep Learning
Recorridos: Diccionario técnico para profesionales Índice alfabético completo de términos

PDF gratuito

Una selección editorial para consultar conceptos relacionados fuera de la web.

Understanding the difficulty of training deep feedforward neural networks
Proceedings of Machine Learning Research · Autor: Xavier Glorot and Yoshua Bengio · Publicación científica · Publicado el 13 de mayo de 2010
Analiza saturación, propagación de gradientes e inicialización de redes profundas.
Deep learning
Nature · Autor: Yann LeCun, Yoshua Bengio and Geoffrey Hinton · Publicación científica · Publicado el 27 de mayo de 2015
Revisión científica sobre representaciones multinivel, retropropagación y familias profundas.