Acumulación de gradiente

Gradient accumulation

También: Gradient accumulation

Técnica que suma gradientes de varios minilotes antes de actualizar los parámetros.

Definición técnica

Ejecución de múltiples pasos forward/backward con gradientes acumulados y una sola llamada posterior al optimizador, simulando un lote efectivo mayor.

Explicación empresarial

Camilo Boo

Automatización de procesos, integración de sistemas y software a medida para reducir tareas manuales y mejorar el control operativo.

[email protected]LinkedIn

Cuéntame el proceso

Navegación

Soluciones Procesos Sectores Casos

Permite entrenar con lotes efectivos amplios cuando la memoria no admite todos los ejemplos a la vez.

Para qué sirve

Separar el tamaño de lote efectivo del número de ejemplos residentes simultáneamente.

Cómo funciona

Escala la pérdida cuando procede, conserva gradientes entre minilotes y los limpia después de actualizar.

Ejemplos

Ejemplo práctico

Se procesan cuatro minilotes de 16 ejemplos antes de un paso, logrando un lote efectivo de 64.

Ejemplo empresarial

Un equipo adapta un entrenamiento a GPUs menores sin cambiar el lote estadístico previsto.

Confusiones frecuentes

No aumenta la memoria disponible ni reproduce siempre exactamente un lote físico por normalización o aleatoriedad.

Limitaciones

Reduce la frecuencia de actualizaciones y puede añadir latencia y complejidad.

Riesgos

Olvidar escalar la pérdida o limpiar gradientes cambia la magnitud de las actualizaciones.

Idea principal

La acumulación intercambia más pasos por un lote efectivo mayor con memoria limitada.

En esta página

Definición técnica
Explicación empresarial
Para qué sirve
Cómo funciona
Ejemplos
Confusiones frecuentes
Limitaciones
Riesgos
Idea principal

Clasificación

Nivel: Técnico
Categorías: Entrenamiento de modelos
Recorridos: Diccionario técnico para profesionales Índice alfabético completo de términos

PDF gratuito

Diccionario técnico de IA para profesionales

Una selección editorial para consultar conceptos relacionados fuera de la web.

Descargar PDF gratis

Términos relacionados

Gradiente Lote Tamaño de lote

Fuentes

Deep Learning, Chapter 8: Optimization for Training Deep Models
MIT Press · Autor: Ian Goodfellow, Yoshua Bengio and Aaron Courville · Publicación científica · Publicado el 18 de noviembre de 2016
Capítulo académico sobre objetivos, lotes, SGD, optimización, estabilidad y convergencia durante el entrenamiento.
Mixed Precision Training
arXiv · Autor: Paulius Micikevicius et al. · Publicación científica · Publicado el 10 de octubre de 2017
Fuente primaria sobre entrenamiento con formatos numéricos mixtos, copia maestra y escalado de pérdida.