Tokens por segundo

Tokens per secondTPS

También: Tokens per second, TPS

Cantidad de tokens de salida generados por unidad de tiempo.

Definición técnica

Tasa de decodificación medida por solicitud o agregada, con convenciones explícitas sobre intervalos y lotes.

Camilo Boo

Automatización de procesos, integración de sistemas y software a medida para reducir tareas manuales y mejorar el control operativo.

Navegación

Ayuda a estimar duración, capacidad y coste de respuestas de distinta longitud.

Cuantificar velocidad sostenida después del inicio de la generación.

Divide tokens producidos entre tiempo observado, excluyendo o incluyendo TTFT según definición.

Ejemplo práctico

Una respuesta de 100 tokens a 25 TPS necesita unos cuatro segundos de decodificación.

Ejemplo empresarial

Operaciones compara modelos con TPS y calidad bajo la misma carga.

TPS por usuario no es throughput total del servidor ni comparable sin contexto.

Tokenizadores, longitudes, hardware y batching alteran el valor.

Maximizarla aisladamente puede reducir calidad o aumentar esperas de cola.

TPS describe ritmo de salida; debe declararse junto con carga y método.

Nivel: Técnico
Categorías: Inferencia y generación de respuestas Latencia, escalabilidad y rendimiento
Recorridos: Diccionario técnico para profesionales Diccionario empresarial para directivos Índice alfabético completo de términos

PDF gratuito

Una selección editorial para consultar conceptos relacionados fuera de la web.

Efficient Memory Management for Large Language Model Serving with PagedAttention
arXiv · Autor: Woosuk Kwon et al. · Publicación científica · Publicado el 12 de septiembre de 2023
Fuente primaria sobre memoria de KV cache, batching de secuencias y fases de prompt y generación.
NVIDIA Triton Inference Server
NVIDIA · Autor: NVIDIA · Documentación oficial
Documentación oficial sobre servidor, solicitudes en tiempo real, lotes, streaming y protocolos de inferencia.
Fuente comprobada el 25 de julio de 2026