Ajuste supervisado

Supervised fine-tuningSFT

También: Supervised fine-tuning, Ajuste fino supervisado, SFT

Entrenamiento posterior que adapta un modelo con ejemplos de entrada y respuesta deseada.

Definición técnica

Optimización supervisada de un modelo preentrenado sobre pares etiquetados, normalmente mediante máxima verosimilitud o entropía cruzada.

Camilo Boo

Automatización de procesos, integración de sistemas y software a medida para reducir tareas manuales y mejorar el control operativo.

Navegación

Convierte un modelo general en uno que sigue instrucciones o formatos propios con mayor consistencia.

Especializar comportamiento usando demostraciones explícitas de la salida esperada.

Calcula la pérdida entre la salida del modelo y la respuesta objetivo y actualiza los parámetros por lotes.

Ejemplo práctico

Se ajusta un modelo con preguntas y respuestas revisadas por especialistas.

Ejemplo empresarial

Una aseguradora prepara demostraciones para que el modelo clasifique partes de siniestros según su guía.

No equivale a aprendizaje supervisado desde cero ni garantiza alineación con todas las preferencias.

Depende de la cobertura y calidad de las demostraciones y puede olvidar capacidades previas.

Datos sesgados o sensibles pueden fijar respuestas incorrectas, filtrar información o degradar tareas no cubiertas.

SFT enseña comportamiento mediante ejemplos, pero su calidad queda limitada por esos ejemplos.

Nivel: Técnico
Categorías: Entrenamiento de modelos Fine-tuning y personalización
Recorridos: Diccionario técnico para profesionales Índice alfabético completo de términos

PDF gratuito

Una selección editorial para consultar conceptos relacionados fuera de la web.

Training language models to follow instructions with human feedback
arXiv · Autor: Long Ouyang et al. · Publicación científica · Publicado el 4 de marzo de 2022
Fuente primaria sobre ajuste supervisado, modelo de recompensa y RLHF para seguimiento de instrucciones.