Escalado de parámetros

Parameter scaling

También: Parameter scaling, Escala paramétrica

Aumento planificado del número de parámetros de un modelo como una dimensión de su escala.

Definición técnica

Variación del tamaño paramétrico de una arquitectura, coordinada con datos y cómputo, para estudiar o mejorar su capacidad y pérdida.

Camilo Boo

Automatización de procesos, integración de sistemas y software a medida para reducir tareas manuales y mejorar el control operativo.

Navegación

Decisión de usar modelos mayores con posibles mejoras y mayores costes de operación.

Analizar cómo cambia el rendimiento cuando aumenta la capacidad parametrizada.

Aumenta anchura, profundidad u otros componentes y vuelve a entrenar con recursos adecuados.

Ejemplo práctico

Se comparan variantes de una familia con distinto número de parámetros.

Ejemplo empresarial

Un equipo evalúa si la mejora de una variante mayor compensa latencia y coste.

Más parámetros no garantizan mejor resultado si datos o cómputo son insuficientes.

Tiene rendimientos decrecientes y exige equilibrio con otras dimensiones.

Puede elevar coste, energía, concentración tecnológica y dificultad de despliegue.

Los parámetros son solo una de las dimensiones que deben escalarse conjuntamente.

Nivel: Técnico
Categorías: Modelos fundacionales
Recorridos: Diccionario técnico para profesionales Índice alfabético completo de términos

PDF gratuito

Una selección editorial para consultar conceptos relacionados fuera de la web.

Language Models are Few-Shot Learners
arXiv · Autor: Tom B. Brown et al. · Publicación científica · Publicado el 28 de mayo de 2020
Documenta escala, generalidad y adaptación a tareas mediante contexto sin actualizar los pesos.
On the Opportunities and Risks of Foundation Models
Stanford Center for Research on Foundation Models · Autor: Rishi Bommasani et al. · Universidad · Publicado el 16 de agosto de 2021
Introduce el término foundation model y analiza adaptación, homogeneización, capacidades y riesgos aguas abajo.