Mecanismo de atención

Attention mechanism

También: Attention mechanism, Atención neuronal

Mecanismo que pondera qué partes de una entrada son más relevantes para calcular una representación.

Definición técnica

Operación que obtiene pesos de compatibilidad entre consultas y claves y combina valores según esos pesos normalizados.

Camilo Boo

Automatización de procesos, integración de sistemas y software a medida para reducir tareas manuales y mejorar el control operativo.

Navegación

Ayuda a relacionar información distante en texto, imagen u otros datos, aunque sus pesos no son una explicación causal.

Seleccionar y combinar contexto de forma dependiente de cada consulta.

Calcula puntuaciones de afinidad, las normaliza y produce una suma ponderada de valores.

Ejemplo práctico

Al procesar un pronombre, la atención asigna peso a palabras relacionadas de la frase.

Ejemplo empresarial

Un modelo documental relaciona una pregunta con fragmentos relevantes del contenido.

Un peso de atención alto no demuestra por sí solo por qué el modelo tomó una decisión.

Puede ser costoso con entradas largas y aprender asociaciones espurias.

Presentarlo como explicación fiable puede inducir decisiones equivocadas.

La atención combina información según relevancia aprendida para una consulta concreta.

Nivel: Técnico
Categorías: Deep Learning
Recorridos: Diccionario técnico para profesionales Índice alfabético completo de términos

PDF gratuito

Una selección editorial para consultar conceptos relacionados fuera de la web.

Attention Is All You Need
arXiv · Autor: Ashish Vaswani et al. · Publicación científica · Publicado el 12 de junio de 2017
Artículo original de Transformer y atención propia multi-cabeza.
Representation Learning
MIT Press · Autor: Ian Goodfellow, Yoshua Bengio and Aaron Courville · Universidad · Publicado el 18 de noviembre de 2016
Explica representaciones jerárquicas y distribuidas, transferencia y preentrenamiento.