Curso de IA Aplicada

Evaluar y operar sistemas de IA en producción: calidad, fiabilidad, observabilidad e incidentes

Curso avanzado para convertir un sistema de IA en un servicio operable: objetivos de servicio, datasets y rúbricas, evaluación offline y online, trazas, monitorización, control de cambios, canary releases, incidentes, rollback, feedback y readiness con criterios explícitos de calidad, seguridad, latencia y coste.

Para: Equipos técnicos, de producto, datos, plataforma, seguridad y operaciones responsables de aplicaciones con LLM, RAG, agentes o automatizaciones con IA que ya funcionan en prototipo y deben sostenerse en producción

Índice del curso

Módulo 1

Objetivos y evidencia

Define qué significa prestar un buen servicio y crea evidencia versionada que represente valor, riesgo y casos límite.

  1. 1. Definir objetivos de servicio y presupuesto de fallo →

    Definir indicadores y objetivos que describan el servicio completo y establecer tolerancias y decisiones cuando se consumen los márgenes aceptables de fallo.

  2. 2. Construir un dataset de evaluación y rúbricas →

    Construir un conjunto representativo y reproducible de casos y criterios que permita medir calidad, seguridad y riesgo por segmento.

Módulo 2

Evaluación reproducible

Convierte esa evidencia en pruebas offline reproducibles y evalúa sistemas compuestos por capa y de extremo a extremo.

  1. 1. Crear evaluaciones offline y puertas de regresión →

    Implementar una evaluación offline reproducible e independiente de la plataforma que bloquee regresiones relevantes antes de ampliar el despliegue.

  2. 2. Evaluar RAG, agentes y efectos de herramientas →

    Diagnosticar sistemas compuestos evaluando tanto componentes intermedios como el outcome real y las consecuencias de cada acción.

Módulo 3

Trazas y monitorización

Haz observable cada ejecución, correlaciona cambios con comportamiento y detecta degradación técnica, semántica y económica.

  1. 1. Trazar solicitudes, prompts, modelos, herramientas y costes →

    Diseñar telemetría que permita reconstruir una ejecución y atribuir cambios sin registrar contenido sensible innecesario.

  2. 2. Monitorizar calidad, deriva, latencia y coste →

    Diseñar paneles y alertas segmentados que distingan degradación técnica, semántica y económica y permitan investigar sus causas.

Módulo 4

Cambios e incidentes

Versiona toda la configuración de comportamiento, reduce el radio de impacto de cada cambio y recupera el servicio ante incidentes.

  1. 1. Versionar configuración y desplegar gradualmente →

    Versionar todos los componentes que alteran comportamiento y desplegar candidatos de forma gradual limitando su radio de impacto.

  2. 2. Responder a incidentes, rollback y fallbacks →

    Diseñar una respuesta a incidentes con roles, mitigación prioritaria, rollback, degradación segura, evidencia y postmortem accionable.

Módulo 5

Operación continua

Convierte feedback, revisión temporal, ownership y runbooks en una práctica continua de operación y retirada.

  1. 1. Incorporar feedback y revisión continua →

    Convertir señales de producción en casos reproducibles y cambios evaluados, manteniendo separación entre feedback, holdout y datos reutilizables.

  2. 2. Preparar readiness y plan de operación →

    Emitir una decisión de readiness para un alcance concreto mediante evidencia verificable, responsables, runbooks, drills y blockers explícitos.