Identificador de token

Token identifiertoken ID

También: ID de token, token ID, Token identifier

Número que referencia de forma única una entrada del vocabulario de un tokenizador.

Definición técnica

Índice entero utilizado para consultar embeddings de entrada y representar tokens en tensores de secuencia.

Camilo Boo

Automatización de procesos, integración de sistemas y software a medida para reducir tareas manuales y mejorar el control operativo.

Navegación

Código interno con el que una aplicación y un modelo intercambian unidades tokenizadas.

Mapear cada token del vocabulario a una representación numérica procesable.

El vocabulario mantiene una correspondencia entre cadena de token e índice entero.

Ejemplo práctico

El token especial de fin de secuencia tiene un identificador reservado.

Ejemplo empresarial

Una herramienta diagnostica diferencias comparando identificadores de dos tokenizadores.

El mismo texto puede tener identificadores diferentes en modelos o versiones distintas.

Solo tiene significado dentro del vocabulario y versión que lo definieron.

Mezclar identificadores de vocabularios incompatibles produce entradas incorrectas.

Un token ID es local a un vocabulario; no es un estándar universal.

Nivel: Técnico
Categorías: Tokens, contexto y memoria
Recorridos: Diccionario técnico para profesionales Índice alfabético completo de términos

PDF gratuito

Una selección editorial para consultar conceptos relacionados fuera de la web.

SentencePiece: A simple and language independent subword tokenizer and detokenizer for Neural Text Processing
arXiv · Autor: Taku Kudo and John Richardson · Publicación científica · Publicado el 19 de agosto de 2018
Fuente primaria sobre tokenización y detokenización de subpalabras directamente desde texto sin segmentación previa.
Google's Neural Machine Translation System: Bridging the Gap between Human and Machine Translation
arXiv · Autor: Yonghui Wu et al. · Publicación científica · Publicado el 26 de septiembre de 2016
Fuente primaria sobre WordPiece y equilibrio entre unidades de carácter y palabra.