Modelo solo decodificador

Decoder-only model

También: Decoder-only model, Modelo decoder-only

Modelo que usa bloques de decodificador causal para continuar una secuencia.

Definición técnica

Arquitectura Transformer compuesta por capas con autoatención causal, entrenada normalmente para predecir el siguiente token y generar de forma autorregresiva.

Explicación empresarial

Camilo Boo

Automatización de procesos, integración de sistemas y software a medida para reducir tareas manuales y mejorar el control operativo.

[email protected]LinkedIn

Cuéntame el proceso

Navegación

Soluciones Procesos Sectores Casos

Familia habitual de los asistentes generativos y LLM de propósito general.

Para qué sirve

Modelar y generar secuencias de izquierda a derecha condicionadas por una entrada.

Cómo funciona

La máscara causal impide usar posiciones futuras y las capas transforman el contexto antes de cada predicción.

Ejemplos

Ejemplo práctico

Recibe una pregunta y genera la respuesta una unidad cada vez.

Ejemplo empresarial

Una API de texto sirve un modelo decoder-only ajustado a instrucciones.

Confusiones frecuentes

El nombre procede de Transformer, aunque el modelo puede aceptar y procesar entradas extensas.

Limitaciones

Genera secuencialmente, con latencia acumulativa y posibilidad de propagar errores.

Riesgos

Alucinaciones, instrucciones adversarias y costes de generación elevados.

Idea principal

Solo decodificador combina contexto causal y generación autorregresiva.

En esta página

Definición técnica
Explicación empresarial
Para qué sirve
Cómo funciona
Ejemplos
Confusiones frecuentes
Limitaciones
Riesgos
Idea principal

Clasificación

Nivel: Técnico
Categorías: Modelos de lenguaje — LLM
Recorridos: Diccionario técnico para profesionales Índice alfabético completo de términos

PDF gratuito

Diccionario técnico de IA para profesionales

Una selección editorial para consultar conceptos relacionados fuera de la web.

Descargar PDF gratis

Términos relacionados

Modelo causal de lenguaje Predicción del siguiente token Transformer

Fuentes

Attention Is All You Need
arXiv · Autor: Ashish Vaswani et al. · Publicación científica · Publicado el 12 de junio de 2017
Artículo original de Transformer y de la arquitectura codificador-decodificador basada en atención.
Language Models are Few-Shot Learners
arXiv · Autor: Tom B. Brown et al. · Publicación científica · Publicado el 28 de mayo de 2020
Fuente primaria sobre LLM autorregresivos, escalado y aprendizaje en contexto.
Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer
arXiv · Autor: Colin Raffel et al. · Publicación científica · Publicado el 23 de octubre de 2019
Fuente primaria para el enfoque texto a texto y modelos codificador-decodificador.