Recorte de gradiente

Gradient clipping

También: Gradient clipping

Técnica que limita la magnitud de los gradientes antes de actualizar parámetros.

Definición técnica

Transformación por valor o norma que restringe un gradiente que supera un umbral para controlar pasos extremos.

Camilo Boo

Automatización de procesos, integración de sistemas y software a medida para reducir tareas manuales y mejorar el control operativo.

Navegación

Protege ejecuciones costosas frente a inestabilidad puntual, aunque no corrige la causa subyacente.

Evitar actualizaciones desproporcionadas y mejorar estabilidad numérica.

Mide valores o norma tras backward, aplica el límite y entrega el gradiente modificado al optimizador.

Ejemplo práctico

Si la norma global supera uno, todos los gradientes se escalan proporcionalmente.

Ejemplo empresarial

El pipeline registra cuántas veces recorta para detectar una receta inestable.

No es acumulación ni garantiza resolver gradientes explosivos de origen estructural.

Un umbral bajo puede frenar aprendizaje y uno alto resultar irrelevante.

Ocultar recortes frecuentes puede enmascarar una tasa, datos o arquitectura defectuosos.

El recorte limita pasos extremos; su frecuencia es también una señal de diagnóstico.

Nivel: Técnico
Categorías: Entrenamiento de modelos
Recorridos: Diccionario técnico para profesionales Índice alfabético completo de términos

PDF gratuito

Una selección editorial para consultar conceptos relacionados fuera de la web.

Deep Learning, Chapter 8: Optimization for Training Deep Models
MIT Press · Autor: Ian Goodfellow, Yoshua Bengio and Aaron Courville · Publicación científica · Publicado el 18 de noviembre de 2016
Capítulo académico sobre objetivos, lotes, SGD, optimización, estabilidad y convergencia durante el entrenamiento.
Mixed Precision Training
arXiv · Autor: Paulius Micikevicius et al. · Publicación científica · Publicado el 10 de octubre de 2017
Fuente primaria sobre entrenamiento con formatos numéricos mixtos, copia maestra y escalado de pérdida.