Modelo enmascarado de lenguaje

Masked language modelMLM

También: Masked language model, MLM, Modelo de lenguaje enmascarado

Modelo que aprende a reconstruir unidades ocultas usando el contexto que las rodea.

Definición técnica

Modelo entrenado con un objetivo de lenguaje enmascarado que sustituye u oculta posiciones y predice sus valores a partir de contexto bidireccional.

Camilo Boo

Automatización de procesos, integración de sistemas y software a medida para reducir tareas manuales y mejorar el control operativo.

Navegación

Base útil para comprender, clasificar o extraer información de texto.

Aprender representaciones contextuales combinando evidencia anterior y posterior.

Se seleccionan posiciones, se enmascaran y el modelo minimiza el error de reconstrucción.

Ejemplo práctico

Reconstruye una palabra ocultada en medio de una oración.

Ejemplo empresarial

Un clasificador reutiliza sus representaciones para identificar intención en mensajes.

No es normalmente un generador causal de texto largo, aunque puede participar en tareas generativas.

Existe diferencia entre las máscaras del entrenamiento y el texto normal del uso.

Hereda sesgos y asociaciones del corpus de preentrenamiento.

MLM aprende reconstruyendo partes ocultas con contexto bidireccional.

Nivel: Técnico
Categorías: Modelos de lenguaje — LLM
Recorridos: Diccionario técnico para profesionales Índice alfabético completo de términos

PDF gratuito

Una selección editorial para consultar conceptos relacionados fuera de la web.

BERT: Pre-training of Deep Bidirectional Transformers
Google Research · Autor: Google Research · Publicación científica
Fuente primaria sobre modelos bidireccionales, solo codificador y modelado enmascarado.
Fuente comprobada el 26 de julio de 2026