Tiempo hasta el primer token

Time to first tokenTTFT

También: Time to first token, TTFT

Tiempo entre iniciar una solicitud y recibir el primer token generado.

Definición técnica

Latencia inicial que agrega cola, preparación de entrada, prefill y primer paso de decodificación.

Camilo Boo

Automatización de procesos, integración de sistemas y software a medida para reducir tareas manuales y mejorar el control operativo.

Navegación

Métrica clave de sensación de respuesta en experiencias interactivas.

Medir cuánto espera una persona antes de observar progreso útil.

Se marca el inicio de solicitud y el instante de la primera unidad de salida.

Ejemplo práctico

Un servicio tarda 600 ms en emitir el primer fragmento y después continúa en streaming.

Ejemplo empresarial

El equipo fija un percentil de TTFT para el chatbot en horas punta.

No es latencia total ni velocidad de tokens posteriores.

Depende de red, cola, longitud de entrada, hardware y carga.

Optimizar solo TTFT puede degradar throughput, coste o tiempo completo.

TTFT mide el arranque visible de la generación, no toda su duración.

Nivel: Técnico
Categorías: Inferencia y generación de respuestas Latencia, escalabilidad y rendimiento
Recorridos: Diccionario técnico para profesionales Diccionario empresarial para directivos Índice alfabético completo de términos

PDF gratuito

Una selección editorial para consultar conceptos relacionados fuera de la web.

Efficient Memory Management for Large Language Model Serving with PagedAttention
arXiv · Autor: Woosuk Kwon et al. · Publicación científica · Publicado el 12 de septiembre de 2023
Fuente primaria sobre memoria de KV cache, batching de secuencias y fases de prompt y generación.
NVIDIA Triton Inference Server
NVIDIA · Autor: NVIDIA · Documentación oficial
Documentación oficial sobre servidor, solicitudes en tiempo real, lotes, streaming y protocolos de inferencia.
Fuente comprobada el 25 de julio de 2026