Latencia entre tokens
Inter-token latencyITL
También: Inter-token latency, ITL
Intervalo de tiempo entre fragmentos consecutivos de una respuesta en streaming.
Definición técnica
Latencia entre tokens se define como intervalo de tiempo entre fragmentos consecutivos de una respuesta en streaming. En una aplicación de IA debe instrumentarse o aplicarse con criterios explícitos, límites operativos, trazabilidad y validación sobre cargas representativas.