Prefill

También: Fase de prefill, Prompt phase

Fase inicial que procesa los tokens de entrada antes de generar el primero de salida.

Definición técnica

Ejecución paralelizable sobre el prompt que calcula representaciones y llena la KV cache para la fase de decodificación.

Camilo Boo

Automatización de procesos, integración de sistemas y software a medida para reducir tareas manuales y mejorar el control operativo.

Navegación

Su coste crece con la entrada y condiciona el tiempo hasta el primer token.

Convertir el contexto completo en estado reutilizable para la generación autorregresiva.

Ejecuta atención sobre la entrada, materializa claves y valores y entrega logits iniciales.

Ejemplo práctico

Un prompt largo se procesa de una vez y después comienza el bucle token a token.

Ejemplo empresarial

El servicio reduce TTFT reutilizando un prefijo aprobado ya preprocesado.

No es entrenamiento, tokenización ni toda la inferencia.

Entradas largas consumen cálculo y memoria antes de mostrar salida.

Cachés de prefijo mal aisladas pueden mezclar datos o reutilizar contexto incorrecto.

Prefill paga el coste inicial del contexto y prepara el estado de decodificación.

Nivel: Técnico
Categorías: Inferencia y generación de respuestas
Recorridos: Diccionario técnico para profesionales Índice alfabético completo de términos

PDF gratuito

Una selección editorial para consultar conceptos relacionados fuera de la web.

Cache strategies
Hugging Face · Autor: Hugging Face · Documentación oficial
Documentación oficial sobre KV cache, crecimiento, prefill, reutilización y compromisos de memoria.
Fuente comprobada el 25 de julio de 2026
Efficient Memory Management for Large Language Model Serving with PagedAttention
arXiv · Autor: Woosuk Kwon et al. · Publicación científica · Publicado el 12 de septiembre de 2023
Fuente primaria sobre memoria de KV cache, batching de secuencias y fases de prompt y generación.