Escalado de cómputo

Compute scaling

También: Compute scaling, Escala computacional

Aumento de las operaciones y recursos computacionales destinados a entrenar o ejecutar un modelo.

Definición técnica

Crecimiento del presupuesto de cálculo, hardware, paralelismo o duración que sostiene modelos y conjuntos de datos de mayor escala.

Camilo Boo

Automatización de procesos, integración de sistemas y software a medida para reducir tareas manuales y mejorar el control operativo.

Navegación

Escalado de cómputo en inteligencia artificial | Camilo Boo

Incremento de infraestructura y gasto necesario para desarrollar u operar modelos más exigentes.

Aportar capacidad de cálculo suficiente para aprovechar parámetros y datos adicionales.

Combina aceleradores, memoria, comunicaciones y software distribuido para ejecutar más operaciones.

Ejemplo práctico

El entrenamiento se distribuye entre más aceleradores durante más pasos.

Ejemplo empresarial

La organización compara consumo por API con infraestructura propia y requisitos de latencia.

Más cómputo no corrige por sí solo datos deficientes ni una arquitectura inadecuada.

Está limitado por coste, disponibilidad, energía, refrigeración y eficiencia.

Puede aumentar impacto ambiental, concentración de proveedores y barreras de entrada.

El cómputo es una dimensión de escala que debe justificarse por mejoras medibles.

Nivel: Técnico
Categorías: Modelos fundacionales
Recorridos: Diccionario técnico para profesionales Índice alfabético completo de términos

PDF gratuito

Una selección editorial para consultar conceptos relacionados fuera de la web.

Language Models are Few-Shot Learners
arXiv · Autor: Tom B. Brown et al. · Publicación científica · Publicado el 28 de mayo de 2020
Documenta escala, generalidad y adaptación a tareas mediante contexto sin actualizar los pesos.
On the Opportunities and Risks of Foundation Models
Stanford Center for Research on Foundation Models · Autor: Rishi Bommasani et al. · Universidad · Publicado el 16 de agosto de 2021
Introduce el término foundation model y analiza adaptación, homogeneización, capacidades y riesgos aguas abajo.