Atención propia

Self-attention

También: Autoatención, Self-attention

Atención en la que los elementos de una secuencia se relacionan entre sí para construir nuevas representaciones.

Definición técnica

Caso de atención donde consultas, claves y valores se derivan de la misma secuencia o conjunto de activaciones.

Permite capturar relaciones dentro de un documento o conjunto de datos, con coste creciente en entradas largas.

Camilo Boo

Automatización de procesos, integración de sistemas y software a medida para reducir tareas manuales y mejorar el control operativo.

Navegación

Incorporar contexto de otros elementos de la misma entrada en cada representación.

Proyecta cada elemento en consulta, clave y valor y combina valores según compatibilidades internas.

Ejemplo práctico

Cada token de una oración combina información de todos los demás tokens.

Ejemplo empresarial

Un modelo relaciona cláusulas distantes del mismo contrato para representar su contexto.

No significa que el modelo sea consciente ni que se observe a sí mismo.

La variante completa consume memoria y cálculo cuadráticos respecto de la longitud.

Puede conectar señales irrelevantes o sensibles y no ofrece una explicación causal.

La self-attention contextualiza cada elemento usando otros elementos de la misma entrada.

Nivel: Técnico
Categorías: Deep Learning
Recorridos: Diccionario técnico para profesionales Índice alfabético completo de términos

PDF gratuito

Una selección editorial para consultar conceptos relacionados fuera de la web.

Attention Is All You Need
arXiv · Autor: Ashish Vaswani et al. · Publicación científica · Publicado el 12 de junio de 2017
Artículo original de Transformer y atención propia multi-cabeza.
Deep learning
Nature · Autor: Yann LeCun, Yoshua Bengio and Geoffrey Hinton · Publicación científica · Publicado el 27 de mayo de 2015
Revisión científica sobre representaciones multinivel, retropropagación y familias profundas.