Codificación por pares de bytes

Byte pair encodingBPE

También: BPE, Byte pair encoding, Codificación BPE

Método que construye subtokens fusionando repetidamente pares frecuentes de unidades.

Definición técnica

Adaptación de un algoritmo de compresión que parte de símbolos básicos y aprende una lista ordenada de fusiones para obtener un vocabulario de subpalabras.

Camilo Boo

Automatización de procesos, integración de sistemas y software a medida para reducir tareas manuales y mejorar el control operativo.

[email protected]LinkedIn

Cuéntame el proceso

Navegación

Soluciones Procesos Sectores Casos

Explicación empresarial

Técnica de tokenización que equilibra tamaño de vocabulario y longitud de secuencia.

Para qué sirve

Representar palabras frecuentes de forma compacta y palabras raras mediante composición.

Cómo funciona

Cuenta pares adyacentes, fusiona el más frecuente durante el entrenamiento y aplica las fusiones aprendidas al codificar.

Ejemplos

Ejemplo práctico

Dos fragmentos que aparecen juntos con frecuencia se fusionan en un nuevo subtoken.

Ejemplo empresarial

Un modelo cubre nombres nuevos sin reservar una entrada completa para cada uno.

Confusiones frecuentes

El nombre no implica siempre que la implementación moderna comience literalmente por bytes.

Limitaciones

Las fusiones optimizan frecuencia del corpus, no significado ni equidad lingüística.

Riesgos

Corpus sesgados producen fragmentación desigual y secuencias más costosas para ciertos idiomas.

Idea principal

BPE aprende un vocabulario composicional mediante fusiones frecuentes.

En esta página

Definición técnica
Explicación empresarial
Para qué sirve
Cómo funciona
Ejemplos
Confusiones frecuentes
Limitaciones
Riesgos
Idea principal

Clasificación

Nivel: Técnico
Categorías: Tokens, contexto y memoria
Recorridos: Diccionario técnico para profesionales Índice alfabético completo de términos

PDF gratuito

Diccionario técnico de IA para profesionales

Una selección editorial para consultar conceptos relacionados fuera de la web.

Descargar PDF gratis

Términos relacionados

SentencePiece Subtoken Tokenización

Fuentes

Neural Machine Translation of Rare Words with Subword Units
arXiv · Autor: Rico Sennrich, Barry Haddow and Alexandra Birch · Publicación científica · Publicado el 31 de agosto de 2015
Introduce el uso de BPE para construir unidades de subpalabra y tratar vocabularios abiertos.