Inferencia por lotes

Batch inference

También: Batch inference

Ejecución conjunta de varias entradas o solicitudes en un lote.

Definición técnica

Agrupación estática o dinámica de tensores compatibles para aumentar utilización y throughput del acelerador.

Camilo Boo

Automatización de procesos, integración de sistemas y software a medida para reducir tareas manuales y mejorar el control operativo.

Navegación

Procesa más trabajo por unidad de coste, aunque puede añadir espera para formar lotes.

Amortizar operaciones y aprovechar paralelismo de hardware entre ejemplos.

Agrupa, rellena cuando procede, ejecuta el modelo y separa las salidas por entrada.

Ejemplo práctico

El servidor combina ocho solicitudes disponibles en una sola ejecución.

Ejemplo empresarial

Un proceso nocturno clasifica miles de documentos en lotes.

No es necesariamente inferencia offline; servicios online también usan batching dinámico.

Longitudes variables y baja concurrencia reducen eficiencia.

Lotes excesivos elevan latencia, memoria y radio de impacto de un fallo.

Batching intercambia espera y memoria por mayor eficiencia agregada.

Nivel: Técnico
Categorías: Inferencia y generación de respuestas
Recorridos: Diccionario técnico para profesionales Índice alfabético completo de términos

PDF gratuito

Una selección editorial para consultar conceptos relacionados fuera de la web.

Efficient Memory Management for Large Language Model Serving with PagedAttention
arXiv · Autor: Woosuk Kwon et al. · Publicación científica · Publicado el 12 de septiembre de 2023
Fuente primaria sobre memoria de KV cache, batching de secuencias y fases de prompt y generación.
NVIDIA Triton Inference Server
NVIDIA · Autor: NVIDIA · Documentación oficial
Documentación oficial sobre servidor, solicitudes en tiempo real, lotes, streaming y protocolos de inferencia.
Fuente comprobada el 25 de julio de 2026