Tamaño de lote

Batch size

También: Batch size, Batchsize, Tamaño de batch

Número de ejemplos incluidos en un lote de entrenamiento.

Definición técnica

Hiperparámetro que controla la cantidad de observaciones usadas para estimar un gradiente antes de una actualización.

Afecta memoria, rendimiento, tiempo por paso y número total de actualizaciones.

Camilo Boo

Automatización de procesos, integración de sistemas y software a medida para reducir tareas manuales y mejorar el control operativo.

Navegación

Ajustar el compromiso entre eficiencia computacional y variabilidad de la estimación del gradiente.

Determina cuántos ejemplos agrupa el cargador; puede combinarse con acumulación para aumentar el lote efectivo.

Ejemplo práctico

Cambiar de 32 a 256 ejemplos reduce pasos por época pero requiere más memoria.

Ejemplo empresarial

Una prueba de capacidad identifica el mayor lote estable sin degradar la métrica objetivo.

Un lote mayor no garantiza menor tiempo total ni mejor calidad.

El valor adecuado depende de arquitectura, datos, optimizador, memoria y tasa de aprendizaje.

Escalarlo sin adaptar otros hiperparámetros puede causar inestabilidad o peor generalización.

El tamaño de lote cambia tanto la carga de hardware como la dinámica de optimización.

Nivel: Técnico
Categorías: Entrenamiento de modelos
Recorridos: Diccionario técnico para profesionales Índice alfabético completo de términos

PDF gratuito

Una selección editorial para consultar conceptos relacionados fuera de la web.

Deep Learning, Chapter 8: Optimization for Training Deep Models
MIT Press · Autor: Ian Goodfellow, Yoshua Bengio and Aaron Courville · Publicación científica · Publicado el 18 de noviembre de 2016
Capítulo académico sobre objetivos, lotes, SGD, optimización, estabilidad y convergencia durante el entrenamiento.
Accurate, Large Minibatch SGD: Training ImageNet in 1 Hour
arXiv · Autor: Priya Goyal et al. · Publicación científica · Publicado el 8 de junio de 2017
Fuente primaria sobre tamaño de minilote, escalado distribuido de SGD y warmup gradual de la tasa.