TécnicoEntrenamiento de modelos
Optimización directa de preferencias
Direct preference optimizationDPO
También: Direct preference optimization, DPO
Técnica que ajusta un modelo directamente con pares de respuestas preferida y no preferida.
Definición técnica
Objetivo de clasificación sobre preferencias que compara probabilidades de la política y un modelo de referencia, evitando un modelo de recompensa explícito y un bucle de RL.