Lote

Batch

También: Batch, Minibatch, Minilote

Grupo de ejemplos procesados conjuntamente para calcular una actualización o una evaluación.

Definición técnica

Subconjunto finito sobre el que se estima la función objetivo y su gradiente antes de una actualización.

Unidad operativa que equilibra memoria, velocidad, estabilidad y coste de entrenamiento.

Camilo Boo

Automatización de procesos, integración de sistemas y software a medida para reducir tareas manuales y mejorar el control operativo.

Navegación

Aprovechar cálculo vectorizado y estimar el gradiente sin recorrer todo el dataset en cada paso.

El cargador reúne ejemplos compatibles, el modelo ejecuta forward y backward y el optimizador consume el gradiente agregado.

Ejemplo práctico

Una GPU procesa 64 imágenes y combina sus pérdidas antes de actualizar pesos.

Ejemplo empresarial

El equipo reduce el lote cuando el trabajo excede la memoria disponible.

En uso moderno batch suele referirse a un minilote, no necesariamente al conjunto completo.

Lotes muy pequeños producen ruido y lotes grandes exigen memoria y pueden cambiar la dinámica de aprendizaje.

Agrupación sesgada o sin barajado puede provocar oscilaciones y aprendizaje de artefactos.

El lote es la unidad de datos de cada cálculo, con efectos estadísticos y de hardware.

Nivel: Técnico
Categorías: Entrenamiento de modelos
Recorridos: Diccionario técnico para profesionales Índice alfabético completo de términos

PDF gratuito

Una selección editorial para consultar conceptos relacionados fuera de la web.

Deep Learning, Chapter 8: Optimization for Training Deep Models
MIT Press · Autor: Ian Goodfellow, Yoshua Bengio and Aaron Courville · Publicación científica · Publicado el 18 de noviembre de 2016
Capítulo académico sobre objetivos, lotes, SGD, optimización, estabilidad y convergencia durante el entrenamiento.
Accurate, Large Minibatch SGD: Training ImageNet in 1 Hour
arXiv · Autor: Priya Goyal et al. · Publicación científica · Publicado el 8 de junio de 2017
Fuente primaria sobre tamaño de minilote, escalado distribuido de SGD y warmup gradual de la tasa.