Optimizador

Optimizer

También: Optimizer

Algoritmo que decide cómo actualizar los parámetros a partir de gradientes y estado acumulado.

Definición técnica

Regla iterativa que transforma gradientes, hiperparámetros y, en métodos adaptativos, momentos u otros buffers en un nuevo vector de parámetros.

Camilo Boo

Automatización de procesos, integración de sistemas y software a medida para reducir tareas manuales y mejorar el control operativo.

Navegación

Componente que condiciona velocidad, estabilidad, memoria y calidad alcanzable dentro del presupuesto.

Reducir la función objetivo mediante actualizaciones numéricas controladas.

Lee gradientes, actualiza su estado interno y aplica un paso a los parámetros entrenables.

Ejemplo práctico

SGD con momento y Adam aplican reglas diferentes al mismo gradiente.

Ejemplo empresarial

Una comparación controlada elige el optimizador con mejor calidad por hora de cómputo.

No es la función de pérdida ni garantiza encontrar el mínimo global.

Su comportamiento depende de escalas, hiperparámetros, ruido y geometría del problema.

Configuraciones inadecuadas pueden divergir o converger a una solución deficiente sin un error evidente.

El optimizador convierte gradientes en cambios de parámetros siguiendo una regla concreta.

Nivel: Técnico
Categorías: Entrenamiento de modelos
Recorridos: Diccionario técnico para profesionales Índice alfabético completo de términos

PDF gratuito

Una selección editorial para consultar conceptos relacionados fuera de la web.

Deep Learning, Chapter 8: Optimization for Training Deep Models
MIT Press · Autor: Ian Goodfellow, Yoshua Bengio and Aaron Courville · Publicación científica · Publicado el 18 de noviembre de 2016
Capítulo académico sobre objetivos, lotes, SGD, optimización, estabilidad y convergencia durante el entrenamiento.