Leyes de escalado

Scaling laws

También: Scaling laws, Escalado de leyes, Leyes de escala

Relaciones empíricas que describen cómo cambia el rendimiento al aumentar modelo, datos o cómputo.

Definición técnica

Ajustes funcionales, a menudo de tipo potencia, entre pérdida o capacidad y recursos como parámetros, tokens, ejemplos u operaciones de entrenamiento.

Explicación empresarial

Camilo Boo

Automatización de procesos, integración de sistemas y software a medida para reducir tareas manuales y mejorar el control operativo.

[email protected]LinkedIn

Cuéntame el proceso

Navegación

Soluciones Procesos Sectores Casos

Herramienta para estimar retornos marginales y planificar experimentos, no una garantía de que más escala resuelva cualquier problema.

Para qué sirve

Predecir tendencias de rendimiento y asignar recursos de entrenamiento.

Cómo funciona

Mide series de modelos y ajusta una relación empírica dentro de un régimen observado.

Ejemplos

Ejemplo práctico

Se ajusta una curva entre pérdida de validación y cantidad de cómputo en varios entrenamientos.

Ejemplo empresarial

Un equipo estima si duplicar presupuesto probablemente aportará una mejora útil antes de lanzar una ejecución grande.

Confusiones frecuentes

No son leyes físicas universales ni equivalen a escalabilidad de una API en producción.

Limitaciones

Pueden romperse al cambiar arquitectura, datos, objetivo, métrica o régimen de escala.

Riesgos

Extrapolar fuera del rango medido puede justificar inversiones costosas con falsa precisión.

Idea principal

Las leyes de escalado resumen tendencias empíricas y deben usarse dentro de sus supuestos y rango.

En esta página

Definición técnica
Explicación empresarial
Para qué sirve
Cómo funciona
Ejemplos
Confusiones frecuentes
Limitaciones
Riesgos
Idea principal

Clasificación

Nivel: Técnico
Categorías: Deep Learning Modelos fundacionales
Recorridos: Diccionario técnico para profesionales Índice alfabético completo de términos

PDF gratuito

Diccionario técnico de IA para profesionales

Una selección editorial para consultar conceptos relacionados fuera de la web.

Descargar PDF gratis

Términos relacionados

Aprendizaje profundo Coste de entrenamiento Modelo fundacional

Fuentes

Representation Learning
MIT Press · Autor: Ian Goodfellow, Yoshua Bengio and Aaron Courville · Universidad · Publicado el 18 de noviembre de 2016
Explica representaciones jerárquicas y distribuidas, transferencia y preentrenamiento.
Deep learning
Nature · Autor: Yann LeCun, Yoshua Bengio and Geoffrey Hinton · Publicación científica · Publicado el 27 de mayo de 2015
Revisión científica sobre representaciones multinivel, retropropagación y familias profundas.