Token especial

Special token

También: Special token

Token reservado para marcar estructura, control o estados que no corresponden a texto ordinario.

Definición técnica

Entrada del vocabulario con semántica convencional, como inicio, fin, relleno, máscara, separación o rol, interpretada por el modelo o pipeline.

Camilo Boo

Automatización de procesos, integración de sistemas y software a medida para reducir tareas manuales y mejorar el control operativo.

Navegación

Marcador interno que ayuda a separar mensajes, indicar finalización o controlar formatos.

Codificar límites y funciones estructurales dentro de la misma secuencia de tokens.

El tokenizador o la plantilla añade identificadores reservados que el entrenamiento dota de función.

Ejemplo práctico

Un token de fin señala que la generación debe detenerse.

Ejemplo empresarial

Una plantilla inserta marcadores de rol entre mensajes del sistema y del usuario.

No todos los modelos comparten nombres, identificadores ni comportamiento de tokens especiales.

Usarlos fuera de la plantilla esperada puede no tener efecto o degradar la respuesta.

Exponer o inyectar marcadores reservados puede romper el aislamiento entre instrucciones y datos.

Los tokens especiales forman parte del contrato específico entre plantilla, tokenizador y modelo.

Nivel: Técnico
Categorías: Tokens, contexto y memoria Inferencia y generación de respuestas
Recorridos: Diccionario técnico para profesionales Índice alfabético completo de términos

PDF gratuito

Una selección editorial para consultar conceptos relacionados fuera de la web.

SentencePiece: A simple and language independent subword tokenizer and detokenizer for Neural Text Processing
arXiv · Autor: Taku Kudo and John Richardson · Publicación científica · Publicado el 19 de agosto de 2018
Fuente primaria sobre tokenización y detokenización de subpalabras directamente desde texto sin segmentación previa.
Google's Neural Machine Translation System: Bridging the Gap between Human and Machine Translation
arXiv · Autor: Yonghui Wu et al. · Publicación científica · Publicado el 26 de septiembre de 2016
Fuente primaria sobre WordPiece y equilibrio entre unidades de carácter y palabra.