TécnicoEntrenamiento de modelos
Acumulación de gradiente
Gradient accumulation
También: Gradient accumulation
Técnica que suma gradientes de varios minilotes antes de actualizar los parámetros.
Definición técnica
Ejecución de múltiples pasos forward/backward con gradientes acumulados y una sola llamada posterior al optimizador, simulando un lote efectivo mayor.