Cargando diccionario…

Vocabulario de un modelo de lenguaje | camiloboo

CAMILO BOOIngeniero de IA

Casos Cómo trabajo Camilo Boo

Probar demo

Analizar mi proceso

Portada Buscar Índice A–Z Categorías Principiantes Profesionales Empresas

Inicio/Diccionario de IA/Vocabulario

Técnico·Modelos de lenguaje — LLM

Vocabulario

Vocabulary

También: Vocabulary, Vocabulario de tokens

Conjunto finito de unidades que un modelo o tokenizador puede representar directamente.

Definición técnica

Inventario indexado de tokens, caracteres, palabras o subpalabras que define el espacio discreto de entrada y salida del modelo.

Explicación empresarial

Primera valoración sin coste

¿Hay un proceso que os está quitando demasiadas horas?

Cuéntame qué proceso seguís haciendo a mano. Revisaré si merece automatizarlo, qué resultado debería mejorar y cuál sería el primer paso razonable.

hola@camiloboo.com LinkedIn

Analizar mi proceso

Navegación

Soluciones Casos Cómo trabajo

Configuración que influye en coste, cobertura de idiomas y forma de contar texto.

Para qué sirve

Mapear fragmentos textuales a identificadores que el modelo pueda procesar.

Cómo funciona

El tokenizador segmenta texto y busca cada unidad en un inventario aprendido o definido.

Ejemplos

Ejemplo práctico

El vocabulario contiene una entrada para una palabra común y varias para fragmentos raros.

Ejemplo empresarial

Un vocabulario multilingüe reduce unidades desconocidas en los idiomas del producto.

Confusiones frecuentes

No equivale a todo el conocimiento del modelo ni a un diccionario humano de palabras.

Limitaciones

Un tamaño fijo obliga a equilibrar cobertura, fragmentación, memoria y velocidad.

Riesgos

Una cobertura desigual puede encarecer o degradar idiomas y dominios menos representados.

Idea principal

El vocabulario define las unidades disponibles, no los hechos que el modelo conoce.

En esta página

Definición técnica
Explicación empresarial
Para qué sirve
Cómo funciona
Ejemplos
Confusiones frecuentes
Limitaciones
Riesgos
Idea principal

Clasificación

Nivel: Técnico
Categorías: Modelos de lenguaje — LLM Tokens, contexto y memoria
Recorridos: Diccionario técnico para profesionales Índice alfabético completo de términos

PDF gratuito

Diccionario técnico de IA para profesionales

Una selección editorial para consultar conceptos relacionados fuera de la web.

Descargar PDF gratis

Términos relacionados

Subtoken Tokenización Tokenizador

Fuentes

Speech and Language Processing, Chapter 3: N-gram Language Models
Stanford University · Autor: Daniel Jurafsky and James H. Martin · Universidad
Referencia académica para modelado del lenguaje, probabilidades de secuencia, vocabulario y perplejidad.
Fuente comprobada el 25 de julio de 2026
SentencePiece: A simple and language independent subword tokenizer and detokenizer for Neural Text Processing
arXiv · Autor: Taku Kudo and John Richardson · Publicación científica · Publicado el 19 de agosto de 2018
Fuente primaria para tokenizadores independientes del idioma y vocabularios de subpalabras.

Revisión editorial

Última revisión: 25 de julio de 2026

Camilo Boo

Recursos

Demo interactiva

Checklist de automatización

Procesos automatizables

Problemas

Preguntas frecuentes

Seguridad y confidencialidad

Sectores

Ver todos los sectores Industria y distribución Despachos profesionales Consultorías y servicios profesionales Clínicas veterinarias

Soluciones

Automatización de procesos Presupuestos desde email Procesamiento documental Citas y seguimiento Integración de sistemas Software a medida

Aviso legal Privacidad Cookies