TécnicoModelos de lenguaje — LLM
Tokenizador
Tokenizer
También: Tokenizer, Codificador de tokens
Componente que divide texto en unidades y las convierte en identificadores para el modelo.
Definición técnica
Algoritmo y artefacto de vocabulario que codifica una cadena como una secuencia de identificadores y permite reconstruir texto mediante decodificación.