Token

También: Unidad de token

Unidad discreta que un tokenizador entrega al modelo para representar una parte de la entrada o de la salida.

Definición técnica

Símbolo de un vocabulario indexado que se codifica como identificador y constituye una posición de la secuencia procesada por el modelo.

Unidad técnica usada para medir capacidad contextual, consumo y parte del coste de muchas APIs de modelos.

Camilo Boo

Automatización de procesos, integración de sistemas y software a medida para reducir tareas manuales y mejorar el control operativo.

Navegación

Convertir texto u otros datos serializados en una secuencia finita que el modelo pueda procesar.

El tokenizador segmenta la entrada, consulta el vocabulario y produce un identificador por unidad.

Ejemplo práctico

La palabra «tokenización» puede convertirse en una o varias unidades según el tokenizador.

Ejemplo empresarial

Una aplicación cuenta tokens antes de enviar un documento para evitar superar el límite del modelo.

Un token no equivale siempre a una palabra, carácter, sílaba ni byte.

Su tamaño y significado dependen del tokenizador y pueden variar entre idiomas y modelos.

Suponer una equivalencia fija con palabras puede causar errores de límite, coste o truncamiento.

El token es la unidad operativa del modelo, no una unidad lingüística universal.

Nivel: Técnico
Categorías: Tokens, contexto y memoria Anglicismos habituales y traducción al español
Recorridos: Diccionario técnico para profesionales Diccionario empresarial para directivos Índice alfabético completo de términos

PDF gratuito

Una selección editorial para consultar conceptos relacionados fuera de la web.

SentencePiece: A simple and language independent subword tokenizer and detokenizer for Neural Text Processing
arXiv · Autor: Taku Kudo and John Richardson · Publicación científica · Publicado el 19 de agosto de 2018
Fuente primaria sobre tokenización y detokenización de subpalabras directamente desde texto sin segmentación previa.
GPT-5.6 Sol Model
OpenAI · Autor: OpenAI · Documentación oficial
Documentación oficial verificable que distingue tokens de entrada, salida y entrada cacheada, y publica límites de contexto y salida.
Fuente comprobada el 25 de julio de 2026