Inicialización de pesos

Weight initialization

También: Weight initialization, Glorot initialization, Inicialización Xavier

Elección de los valores con los que comienzan los pesos antes del entrenamiento.

Definición técnica

Esquema de muestreo o asignación de parámetros iniciales diseñado para romper simetrías y controlar la varianza de activaciones y gradientes.

Camilo Boo

Automatización de procesos, integración de sistemas y software a medida para reducir tareas manuales y mejorar el control operativo.

Navegación

Configuración técnica que puede determinar si una red profunda converge con estabilidad o desperdicia experimentos.

Empezar la optimización en una escala que permita propagar señales y gradientes.

Genera pesos con una distribución cuya escala depende de la arquitectura y activación.

Ejemplo práctico

La inicialización Xavier ajusta la varianza según las dimensiones de entrada y salida.

Ejemplo empresarial

Un entrenamiento reproducible fija semilla y esquema de inicialización antes de comparar modelos.

No es lo mismo que cargar un modelo preentrenado ni garantiza encontrar la mejor solución.

Un esquema adecuado depende de activaciones, topología y objetivo.

Una mala escala puede saturar unidades o hacer desaparecer o explotar gradientes.

La inicialización controla la escala inicial de señales y gradientes, no el resultado final por sí sola.

Nivel: Técnico
Categorías: Deep Learning
Recorridos: Diccionario técnico para profesionales Índice alfabético completo de términos

PDF gratuito

Una selección editorial para consultar conceptos relacionados fuera de la web.

Representation Learning
MIT Press · Autor: Ian Goodfellow, Yoshua Bengio and Aaron Courville · Universidad · Publicado el 18 de noviembre de 2016
Explica representaciones jerárquicas y distribuidas, transferencia y preentrenamiento.
Understanding the difficulty of training deep feedforward neural networks
Proceedings of Machine Learning Research · Autor: Xavier Glorot and Yoshua Bengio · Publicación científica · Publicado el 13 de mayo de 2010
Analiza saturación, propagación de gradientes e inicialización de redes profundas.