Versionar configuración y desplegar gradualmente

En sistemas de IA, una release no es solo código. El comportamiento puede cambiar por el modelo, las instrucciones, el índice, las herramientas, los parámetros, la política o el proveedor.

Si no puedes reconstruir esa combinación, no puedes reproducir una regresión ni hacer rollback con confianza.

Define una unidad de versión

Crea un manifest:

{
  "app": "2.8.1",
  "prompt": "support-v17",
  "model": "provider/model@2026-08",
  "tool_catalog": "9",
  "index": "kb-20260817",
  "policy": "prod-12",
  "eval_suite": "31"
}

No incluyas secretos.

Guarda:

• author;
• fecha;
• motivo;
• ticket;
• evaluación.

Versiona modelos

No uses un alias cambiante sin saber qué ejecutó.

Cuando el proveedor exponga IDs/versiones, regístralos.

Si no, conserva:

• nombre;
• fecha;
• proveedor;
• response metadata.

Una actualización del proveedor puede alterar comportamiento sin un commit tuyo.

Define compatibilidad

Cambiar un schema o tool puede romper jobs en curso.

Documenta:

• backward compatible;
• migration required;
• incompatible.

Una ejecución larga debe saber qué contrato la inició.

Puerta offline

Antes de desplegar:

• regression;
• safety;
• coste;
• latencia;
• tests.

No pases al canary si hay bloqueantes.

Shadow

La candidata procesa tráfico pero no determina el resultado del usuario.

Sirve para:

• comparar;
• medir latencia;
• detectar errores.

Cuidado:

• duplica coste;
• puede duplicar tools.

Desactiva efectos.

Canary

Google SRE presenta canarying como complemento de testing para exponer una nueva versión a una población limitada y detectar defectos con menor impacto.

Selecciona población:

• interna;
• tenant voluntario;
• 1 % tráfico;
• segmento no crítico.

No uses canary aleatorio si necesitas aislar un riesgo específico.

Criterios de promoción

Antes:

promote if
quality >= threshold
no critical incidents
latency within guardrail
cost within guardrail

Después de una ventana.

No cambies el criterio mientras observas.

Automated rollback

Puedes automatizar rollback para señales deterministas:

• 5xx;
• invalid schema;
• latency;
• unauthorized effect.

Para quality diferida quizá necesites decisión humana.

No automatices un rollback que pueda causar más daño sin entender dependencias.

Feature flags

Permiten desacoplar deploy de activación.

Usa flags para:

• nuevo modelo;
• tool;
• RAG;
• autonomía;
• proveedor.

Debe existir un kill switch.

Evita contaminación

Si una persona recibe A y B alternativamente, el feedback se vuelve confuso.

Asigna cohortes estables cuando sea necesario.

Deprecaciones del proveedor

Las plataformas cambian. En 2026 OpenAI ha deprecado su plataforma Evals con cierre previsto para noviembre.

La lección operativa es general:

• no dependas de una interfaz sin plan de migración;
• monitoriza deprecations;
• inventaría dependencias;
• prueba migración antes del deadline.

Immutable release manifest

Una vez desplegado, no edites el manifest.

Si cambias una flag crítica, registra nueva versión o evento de configuración.

La reproducibilidad requiere historia.

Config drift

Compara:

• expected;
• actual.

Un servidor puede tener una variable antigua.

Automatiza detección cuando sea posible.

Schema migrations

Un cambio de output puede requerir compatibilidad dual:

1. productor nuevo;
2. consumidores aceptan ambos;
3. migración;
4. retirar viejo.

No rompas jobs en curso.

Model upgrade playbook

Antes:

• eval;
• cost;
• latency;
• tools;
• safety.

Durante:

• canary.

Después:

• monitor.

Documenta rollback.

Dataset/Index release

RAG también tiene releases.

Versiona:

• source snapshot;
• chunker;
• embedding model;
• index config.

Un cambio de índice puede ser tan importante como código.

Tool release

Para una tool:

• schema;
• implementation;
• permissions.

Versiona las tres.

Dark launch

Puedes desplegar infraestructura sin activarla.

Reduce riesgo de:

• configuración;
• escalado.

Después activa mediante flag.

Cohortes

Selecciona cohortes con cuidado.

Un canary solo con expertos puede no representar usuarios normales.

Incluye diversidad progresivamente.

Blast radius

Pregunta:

«¿Cuál es el máximo daño si esta fase falla?»

Si la respuesta es «todos los clientes», la fase no limita impacto.

Release notes operativas

Incluye:

• cambio;
• riesgo;
• owner;
• metrics;
• rollback.

No solo features.

Ejercicio

Diseña un rollout:

1. offline;
2. shadow;
3. 5 %;
4. 25 %;
5. 100 %.

Para cada fase define:

• población;
• duración;
• métricas;
• stop;
• rollback;
• owner.

Simula una caída del 8 % en un segmento crítico y ejecuta la decisión.

Resultado de la lección

Debes terminar con releases reproducibles y promoción basada en evidencia. La siguiente lección prepara la respuesta cuando, pese a todo, producción falla.