Servidor de inferencia

Inference server

También: Inference server

Software que carga modelos y atiende solicitudes para ejecutar inferencia.

Definición técnica

Capa de serving que gestiona repositorio de modelos, protocolos, planificación, batching, instancias, salud y respuestas.

Camilo Boo

Automatización de procesos, integración de sistemas y software a medida para reducir tareas manuales y mejorar el control operativo.

Navegación

Convierte un modelo en una capacidad operativa compartida y observable.

Exponer inferencia de forma controlada, escalable y compatible con aplicaciones.

Enruta solicitudes al modelo, agenda ejecución, procesa lotes y devuelve resultados.

Ejemplo práctico

Un cliente envía tensores por HTTP y recibe las salidas del backend.

Ejemplo empresarial

Varios productos consumen un servidor común con versiones y límites independientes.

No es el modelo ni toda la plataforma MLOps.

Añade operación, seguridad, compatibilidad y capacidad que deben administrarse.

Mala autenticación, aislamiento o versionado expone datos y causa resultados inconsistentes.

El servidor operacionaliza modelos; no mejora por sí solo su calidad.

Nivel: Técnico
Categorías: Inferencia y generación de respuestas
Recorridos: Diccionario técnico para profesionales Índice alfabético completo de términos

PDF gratuito

Una selección editorial para consultar conceptos relacionados fuera de la web.

Efficient Memory Management for Large Language Model Serving with PagedAttention
arXiv · Autor: Woosuk Kwon et al. · Publicación científica · Publicado el 12 de septiembre de 2023
Fuente primaria sobre memoria de KV cache, batching de secuencias y fases de prompt y generación.
NVIDIA Triton Inference Server
NVIDIA · Autor: NVIDIA · Documentación oficial
Documentación oficial sobre servidor, solicitudes en tiempo real, lotes, streaming y protocolos de inferencia.
Fuente comprobada el 25 de julio de 2026