TécnicoEntrenamiento de modelos
Paralelismo de modelo
Model parallelism
También: Model parallelism
Estrategia que reparte partes del modelo o de sus tensores entre varios dispositivos.
Definición técnica
Familia de particiones por capas, pipeline, tensores o estados que permite ejecutar parámetros que no caben o no escalan en un solo trabajador.