Vocabulario

Vocabulary

También: Vocabulary, Vocabulario de tokens

Conjunto finito de unidades que un modelo o tokenizador puede representar directamente.

Definición técnica

Inventario indexado de tokens, caracteres, palabras o subpalabras que define el espacio discreto de entrada y salida del modelo.

Camilo Boo

Automatización de procesos, integración de sistemas y software a medida para reducir tareas manuales y mejorar el control operativo.

Navegación

Configuración que influye en coste, cobertura de idiomas y forma de contar texto.

Mapear fragmentos textuales a identificadores que el modelo pueda procesar.

El tokenizador segmenta texto y busca cada unidad en un inventario aprendido o definido.

Ejemplo práctico

El vocabulario contiene una entrada para una palabra común y varias para fragmentos raros.

Ejemplo empresarial

Un vocabulario multilingüe reduce unidades desconocidas en los idiomas del producto.

No equivale a todo el conocimiento del modelo ni a un diccionario humano de palabras.

Un tamaño fijo obliga a equilibrar cobertura, fragmentación, memoria y velocidad.

Una cobertura desigual puede encarecer o degradar idiomas y dominios menos representados.

El vocabulario define las unidades disponibles, no los hechos que el modelo conoce.

Nivel: Técnico
Categorías: Modelos de lenguaje — LLM Tokens, contexto y memoria
Recorridos: Diccionario técnico para profesionales Índice alfabético completo de términos

PDF gratuito

Una selección editorial para consultar conceptos relacionados fuera de la web.

Speech and Language Processing, Chapter 3: N-gram Language Models
Stanford University · Autor: Daniel Jurafsky and James H. Martin · Universidad
Referencia académica para modelado del lenguaje, probabilidades de secuencia, vocabulario y perplejidad.
Fuente comprobada el 25 de julio de 2026
SentencePiece: A simple and language independent subword tokenizer and detokenizer for Neural Text Processing
arXiv · Autor: Taku Kudo and John Richardson · Publicación científica · Publicado el 19 de agosto de 2018
Fuente primaria para tokenizadores independientes del idioma y vocabularios de subpalabras.