vLLM

vLLM es motor abierto de inferencia y serving de modelos de lenguaje. Es un producto o proyecto identificado por nombre propio; sus capacidades, límites, planes, modelos disponibles y condiciones pueden cambiar con el tiempo.

Puede utilizarse como opción tecnológica, pero debe compararse con requisitos, seguridad, residencia de datos, coste, interoperabilidad y dependencia de proveedor.