Subtoken

También: Subpalabra, Subword

Token que representa una parte de una palabra u otra unidad mayor.

Definición técnica

Unidad de subpalabra perteneciente a un vocabulario finito, obtenida mediante algoritmos como BPE, WordPiece o unigram language model.

Fragmento que permite cubrir vocabulario abierto sin almacenar cada palabra posible.

Camilo Boo

Automatización de procesos, integración de sistemas y software a medida para reducir tareas manuales y mejorar el control operativo.

Navegación

Representar términos raros, nombres y formas flexionadas combinando unidades reutilizables.

El algoritmo selecciona una segmentación cuyos fragmentos existen en el vocabulario aprendido.

Ejemplo práctico

Una palabra técnica desconocida se divide en un prefijo y varios fragmentos conocidos.

Ejemplo empresarial

Un modelo procesa nombres de producto nuevos mediante fragmentos presentes en su vocabulario.

Subtoken y subpalabra suelen ser equivalentes; no siempre coinciden con morfemas lingüísticos.

Una fragmentación excesiva alarga secuencias y puede dificultar el tratamiento de ciertos idiomas.

La cobertura desigual puede introducir diferencias de coste y rendimiento entre grupos lingüísticos.

Los subtokens permiten vocabulario abierto mediante composición, pero no garantizan segmentación lingüística.

Nivel: Técnico
Categorías: Tokens, contexto y memoria
Recorridos: Diccionario técnico para profesionales Índice alfabético completo de términos

PDF gratuito

Una selección editorial para consultar conceptos relacionados fuera de la web.

SentencePiece: A simple and language independent subword tokenizer and detokenizer for Neural Text Processing
arXiv · Autor: Taku Kudo and John Richardson · Publicación científica · Publicado el 19 de agosto de 2018
Fuente primaria sobre tokenización y detokenización de subpalabras directamente desde texto sin segmentación previa.
Neural Machine Translation of Rare Words with Subword Units
arXiv · Autor: Rico Sennrich, Barry Haddow and Alexandra Birch · Publicación científica · Publicado el 31 de agosto de 2015
Introduce el uso de BPE para construir unidades de subpalabra y tratar vocabularios abiertos.