Decodificación especulativa
Speculative decoding
También: Speculative decoding, Speculative sampling
Técnica que propone varios tokens con un modelo rápido y los verifica con el modelo objetivo.
Definición técnica
Algoritmo exacto que paraleliza verificación de candidatos de un modelo borrador y corrige rechazos preservando la distribución objetivo.