Transformer

También: Arquitectura Transformer, Transformer architecture

Arquitectura neuronal que procesa relaciones entre elementos mediante atención, sin depender de recurrencia.

Definición técnica

Arquitectura basada en bloques de atención multi-cabeza, transformaciones feedforward, conexiones residuales, normalización y codificación de posición.

Explicación empresarial

Camilo Boo

Automatización de procesos, integración de sistemas y software a medida para reducir tareas manuales y mejorar el control operativo.

[email protected]LinkedIn

Cuéntame el proceso

Navegación

Soluciones Procesos Sectores Casos

Base de numerosos modelos modernos de lenguaje y multimodales, con gran capacidad y costes de entrenamiento e inferencia relevantes.

Para qué sirve

Modelar dependencias entre elementos y procesar secuencias con mayor paralelismo que una red recurrente.

Cómo funciona

Proyecta consultas, claves y valores, calcula atención y alterna ese resultado con redes feedforward.

Ejemplos

Ejemplo práctico

Cada token combina información de otros tokens mediante pesos de atención.

Ejemplo empresarial

Un asistente documental usa un modelo Transformer para comprender y generar texto.

Confusiones frecuentes

Transformer no es sinónimo de LLM; también se usa en visión, audio y modelos pequeños.

Limitaciones

La atención estándar crece cuadráticamente con la longitud y el rendimiento depende de datos y escala.

Riesgos

Puede amplificar sesgos, memorizar datos y producir resultados plausibles pero incorrectos.

Idea principal

Transformer organiza el cálculo alrededor de atención y paralelismo, no de recurrencia secuencial.

En esta página

Definición técnica
Explicación empresarial
Para qué sirve
Cómo funciona
Ejemplos
Confusiones frecuentes
Limitaciones
Riesgos
Idea principal

Clasificación

Nivel: Técnico
Categorías: Deep Learning Modelos fundacionales Inteligencia artificial generativa Modelos de lenguaje — LLM
Recorridos: Diccionario técnico para profesionales Índice alfabético completo de términos

PDF gratuito

Diccionario técnico de IA para profesionales

Una selección editorial para consultar conceptos relacionados fuera de la web.

Descargar PDF gratis

Términos relacionados

Atención propia Mecanismo de atención Modelo de lenguaje grande Red neuronal profunda Red neuronal recurrente

Fuentes

Attention Is All You Need
arXiv · Autor: Ashish Vaswani et al. · Publicación científica · Publicado el 12 de junio de 2017
Artículo original de Transformer y atención propia multi-cabeza.
Deep learning
Nature · Autor: Yann LeCun, Yoshua Bengio and Geoffrey Hinton · Publicación científica · Publicado el 27 de mayo de 2015
Revisión científica sobre representaciones multinivel, retropropagación y familias profundas.