Warmup de aprendizaje

Learning rate warmup

También: Learning rate warmup, Calentamiento de tasa de aprendizaje, LR warmup

Fase inicial en la que la tasa de aprendizaje aumenta gradualmente desde un valor bajo.

Definición técnica

Tramo de un calendario que limita la magnitud de actualizaciones tempranas mientras estadísticas, momentos o escalas se estabilizan.

Camilo Boo

Automatización de procesos, integración de sistemas y software a medida para reducir tareas manuales y mejorar el control operativo.

Navegación

Reduce el riesgo de perder una ejecución grande por inestabilidad en sus primeros pasos.

Evitar actualizaciones iniciales excesivas, especialmente con lotes grandes o modelos sensibles.

Interpola la tasa durante un número definido de pasos y luego entrega el control al calendario principal.

Ejemplo práctico

La tasa crece linealmente durante cinco épocas hasta alcanzar su valor objetivo.

Ejemplo empresarial

Una receta distribuida aplica warmup antes de usar la tasa escalada al lote global.

No calienta físicamente el hardware ni siempre mejora todos los entrenamientos.

Demasiado warmup retrasa el aprendizaje y demasiado poco no elimina la inestabilidad.

Cambiar el lote sin revisar el warmup puede romper una receta antes estable.

Warmup suaviza el inicio; su duración debe formar parte de la receta versionada.

Nivel: Técnico
Categorías: Entrenamiento de modelos
Recorridos: Diccionario técnico para profesionales Índice alfabético completo de términos

PDF gratuito

Una selección editorial para consultar conceptos relacionados fuera de la web.

Accurate, Large Minibatch SGD: Training ImageNet in 1 Hour
arXiv · Autor: Priya Goyal et al. · Publicación científica · Publicado el 8 de junio de 2017
Fuente primaria sobre tamaño de minilote, escalado distribuido de SGD y warmup gradual de la tasa.