Tokenización

Tokenization

También: Tokenization, Segmentación en tokens

Proceso que transforma texto u otra entrada serializada en una secuencia de tokens.

Definición técnica

Codificación que normaliza y segmenta una cadena conforme a un modelo de vocabulario y devuelve identificadores discretos reversibles o aproximadamente reversibles.

Explicación empresarial

Camilo Boo

Automatización de procesos, integración de sistemas y software a medida para reducir tareas manuales y mejorar el control operativo.

[email protected]LinkedIn

Cuéntame el proceso

Navegación

Soluciones Procesos Sectores Casos

Paso previo que determina cuánto espacio ocupa el contenido y cómo lo recibe el modelo.

Para qué sirve

Preparar entradas y salidas para que sean compatibles con el vocabulario del modelo.

Cómo funciona

Aplica reglas o un modelo estadístico de segmentación y asigna cada fragmento a una entrada del vocabulario.

Ejemplos

Ejemplo práctico

Un tokenizador separa una frase en palabras frecuentes y fragmentos de palabras raras.

Ejemplo empresarial

Un servicio tokeniza contratos para calcular si caben en una sola solicitud.

Confusiones frecuentes

No es simplemente dividir por espacios y no produce necesariamente palabras completas.

Limitaciones

Puede fragmentar de forma desigual idiomas, código, números y caracteres poco frecuentes.

Riesgos

Una tokenización inadecuada puede elevar costes, degradar calidad o perder información por normalización.

Idea principal

La tokenización define la representación discreta que condiciona todo el procesamiento posterior.

En esta página

Definición técnica
Explicación empresarial
Para qué sirve
Cómo funciona
Ejemplos
Confusiones frecuentes
Limitaciones
Riesgos
Idea principal

Clasificación

Nivel: Técnico
Categorías: Tokens, contexto y memoria Procesamiento del lenguaje natural — NLP
Recorridos: Diccionario técnico para profesionales Índice alfabético completo de términos

PDF gratuito

Diccionario técnico de IA para profesionales

Una selección editorial para consultar conceptos relacionados fuera de la web.

Descargar PDF gratis

Términos relacionados

Detokenización Token Tokenizador

Fuentes

SentencePiece: A simple and language independent subword tokenizer and detokenizer for Neural Text Processing
arXiv · Autor: Taku Kudo and John Richardson · Publicación científica · Publicado el 19 de agosto de 2018
Fuente primaria sobre tokenización y detokenización de subpalabras directamente desde texto sin segmentación previa.
Neural Machine Translation of Rare Words with Subword Units
arXiv · Autor: Rico Sennrich, Barry Haddow and Alexandra Birch · Publicación científica · Publicado el 31 de agosto de 2015
Introduce el uso de BPE para construir unidades de subpalabra y tratar vocabularios abiertos.