Cuantización de caché KV
KV cache quantization
También: KV cache quantization
Cuantización de caché KV es reducción de precisión de la caché de atención.
Definición técnica
En sistemas de inteligencia artificial, cuantización de caché kv se utiliza como reducción de precisión de la caché de atención; su implementación debe evaluarse según compatibilidad, rendimiento, consumo de recursos y requisitos operativos.