Dimensionar riesgo, supervisión y excepciones

Dos automatizaciones con una precisión parecida pueden exigir controles muy diferentes. Si una clasificación errónea añade una etiqueta interna, la corrección puede ser sencilla. Si el mismo error rechaza a un proveedor, envía una comunicación contractual o modifica un dato financiero, la consecuencia cambia por completo.

Por eso el riesgo no se deduce solo del rendimiento técnico. Depende de la acción posterior, de las personas afectadas, de la posibilidad de detectar el fallo y de lo fácil que resulte reparar sus efectos. En esta lección diseñarás una supervisión proporcional al proceso, no una revisión humana genérica añadida al final.

Describe el fallo antes de asignarle una puntuación

Empieza con una frase concreta: el sistema hace o deja de hacer algo, y eso produce una consecuencia. Por ejemplo:

• clasifica una solicitud urgente como ordinaria y retrasa su atención;
• extrae una cuenta bancaria incorrecta y la propone para un alta;
• redacta una respuesta que afirma una condición no aprobada;
• no recupera el procedimiento vigente y muestra uno obsoleto;
• ejecuta dos veces una actualización después de un reintento.

Etiquetas como riesgo alto o riesgo bajo aportan poco si no se conoce el mecanismo. Para cada fallo, registra:

• causa o condición que puede activarlo;
• acción afectada;
• persona, equipo o sistema que recibe el impacto;
• alcance de la consecuencia;
• tiempo disponible para detectarlo;
• reversibilidad;
• evidencia que permitiría reconstruir lo ocurrido.

Esta descripción también separa los errores del modelo de otros fallos. Una integración puede duplicar registros aunque la clasificación sea correcta. Una fuente documental desactualizada puede inducir una respuesta incorrecta aunque la recuperación funcione según lo diseñado.

Valora consecuencia, exposición y detectabilidad

Una matriz sencilla puede ordenar la conversación sin fingir una precisión matemática. Utiliza tres dimensiones:

Consecuencia

Pregunta qué ocurre si el sistema se equivoca. Considera impacto operativo, económico, contractual, reputacional, de seguridad, privacidad y trato a personas. No todos aplicarán. El objetivo es reconocer cuáles son materiales en tu proceso.

Exposición

Observa cuántos casos pueden verse afectados y con qué frecuencia. Un error raro puede ser relevante si se aplica a miles de registros antes de detectarse. Un proceso de bajo volumen puede seguir siendo crítico si cada decisión tiene consecuencias importantes.

Detectabilidad y reversibilidad

Determina si el fallo deja señales visibles y si puede corregirse antes de causar daño. Un borrador revisado antes del envío es más controlable que una respuesta enviada automáticamente. Una etiqueta interna reversible no equivale a borrar o sobrescribir el registro de referencia.

Puedes usar una escala cualitativa de bajo, medio y alto, siempre que acompañes cada valoración con una explicación. La matriz sirve para decidir controles, no para certificar que el proceso es seguro.

Diseña la intervención humana en un punto concreto

Decir que habrá una persona en el circuito es insuficiente. Debes especificar cuándo interviene, qué información recibe, qué decisión puede tomar y cuánto tiempo tiene.

Hay varios patrones útiles:

• revisión previa: una persona aprueba antes de que el resultado produzca efectos;
• revisión por excepción: el sistema continúa en casos claros y escala los ambiguos;
• doble control: determinadas acciones requieren una segunda aprobación independiente;
• muestreo posterior: se audita una parte de los resultados cuando el efecto es limitado y reversible;
• supervisión operativa: métricas y alertas permiten detener el flujo ante una desviación;
• intervención a demanda: una persona puede recuperar el control cuando el sistema encuentra una condición no prevista.

La elección depende del impacto. La revisión previa ofrece mayor control, pero puede mantener un cuello de botella. La revisión por excepción reduce carga si los criterios de escalado son fiables. El muestreo no es adecuado cuando un solo error puede producir una consecuencia grave antes de ser detectado.

El revisor necesita ver la entrada original, la propuesta, la evidencia, las reglas aplicadas y el motivo del escalado. Si debe reconstruir todo desde cero, la automatización quizá solo haya desplazado el trabajo.

Convierte la incertidumbre en criterios de escalado

No uses una puntuación de confianza como único control. Su significado puede variar entre modelos, tareas y configuraciones. Combínala con condiciones observables del proceso.

Ejemplos de escalado:

• falta un dato obligatorio;
• dos fuentes presentan valores incompatibles;
• el documento no pertenece a un formato conocido;
• no se encuentra evidencia suficiente en la fuente autorizada;
• la solicitud implica una excepción contractual;
• el importe supera un umbral aprobado;
• el resultado propone modificar datos sensibles;
• el sistema externo no confirma la escritura;
• el mismo caso ya fue procesado;
• la salida contiene una categoría no admitida.

Cada criterio debe conducir a una acción: solicitar información, enviar a una cola de revisión, bloquear la operación, reintentar de forma segura o devolver el caso a la vía manual. Escalar sin propietario ni plazo solo crea una bandeja de entrada nueva.

Prepara un registro de excepciones

Las excepciones no son ruido que deba ocultarse para defender la oportunidad. Enseñan dónde termina el patrón estable y empiezan las decisiones que requieren contexto.

Construye un registro con:

• nombre y descripción de la excepción;
• frecuencia observada o desconocida;
• forma de resolverla e información necesaria;
• responsable y tiempo máximo de respuesta;
• efecto si queda sin resolver;
• posibilidad de convertirla en regla;
• evidencia necesaria.

Durante el primer experimento aparecerán nuevas excepciones. Trátalas como un resultado de aprendizaje. Si absorben la mayor parte de los casos, quizá el proceso no esté suficientemente estandarizado o el alcance sea demasiado amplio.

Define límites, parada y recuperación

Un flujo controlable necesita saber cuándo no actuar. Formula límites explícitos de alcance: tipos de documento aceptados, categorías permitidas, sistemas autorizados, importes máximos, idiomas cubiertos o grupos de usuarios incluidos.

Después define condiciones de parada. Algunas posibilidades son un aumento de casos escalados, una caída de la calidad medida, una fuente inaccesible, una integración que devuelve errores repetidos o una modificación no prevista en el sistema de referencia. La parada debe impedir nuevos efectos, conservar la información necesaria para investigar y permitir retomar el proceso manual.

La recuperación incluye responder a tres preguntas:

1. ¿Cómo se identifica todo lo afectado?
2. ¿Cómo se corrige o revierte sin duplicar acciones?
3. ¿Quién autoriza la reanudación?

Registrar entrada, salida, versión de reglas o configuración, decisión humana y efecto ejecutado mejora la trazabilidad. No significa almacenar indiscriminadamente datos sensibles: la evidencia debe limitarse a lo necesario, protegerse y conservarse durante el tiempo justificado.

Separa criterio operativo, marco voluntario y obligación legal

El AI Risk Management Framework de NIST es un marco voluntario. Sus funciones de gobierno, contextualización, medición y gestión sirven para ordenar el análisis y contemplan respuestas como mitigar, recalibrar o retirar un sistema. Aplicarlas en esta ficha es una recomendación operativa, no una obligación legal universal.

Cuando se tratan datos personales, los artículos 5 y 25 del RGPD establecen, entre otros, minimización y protección de datos desde el diseño y por defecto. El artículo 35 regula la evaluación de impacto cuando un tipo de tratamiento pueda entrañar un alto riesgo. El artículo 22 se refiere específicamente a determinadas decisiones basadas únicamente en tratamiento automatizado que produzcan efectos jurídicos o afecten de modo similar significativamente a una persona; no toda recomendación o apoyo automatizado entra por ese solo hecho en ese supuesto.

El artículo 14 del Reglamento europeo de IA establece requisitos de supervisión humana para sistemas de IA de alto riesgo. No debe extrapolarse como obligación universal a cualquier uso de IA. Determinar si estas normas resultan aplicables exige revisar el caso, el rol de la organización, la clasificación y el uso concreto con asesoramiento competente.

Este curso no ofrece asesoramiento jurídico ni clasifica tu sistema. La ficha solo debe señalar cuándo involucrar a privacidad, seguridad, cumplimiento o asesoría antes de avanzar; no puede declarar esas revisiones aprobadas.

Un ejemplo: borradores de respuesta a incidencias

Una empresa quiere clasificar incidencias de clientes y preparar una respuesta. La salida no se enviará automáticamente durante el primer alcance.

El análisis identifica estos fallos:

• asignación al equipo equivocado, con retraso operativo;
• omisión de una señal de urgencia;
• inclusión de una compensación no autorizada en el borrador;
• exposición de información perteneciente a otro cliente;
• uso de un procedimiento interno antiguo.

El diseño de control resultante no se limita a revisión humana. Las incidencias urgentes o con identidad ambigua se escalan; el sistema solo recupera fuentes vigentes; las compensaciones quedan fuera de las acciones permitidas; la persona revisora ve el mensaje original y las fuentes empleadas; todas las respuestas siguen siendo borradores; y un fallo de identidad detiene el procesamiento del caso. Además, se mide qué categorías concentran correcciones y por qué.

La conclusión puede ser que la asistencia es viable mientras que el envío autónomo no lo es. El análisis de riesgo no elimina necesariamente la oportunidad: ajusta el grado de autonomía.

Ejercicio: mapa de fallos y controles

Elige las cinco acciones más relevantes de tu proceso. Para cada una completa:

Después responde:

• ¿qué acciones pueden ejecutarse sin revisión previa y por qué?;
• ¿cuáles deben producir solo un borrador o recomendación?;
• ¿qué condiciones obligan a escalar?;
• ¿qué evento debe detener el flujo completo?;
• ¿cómo vuelve el equipo al proceso manual?;
• ¿qué evidencia mínima permite auditar un caso?;

Añade a la ficha de oportunidad el nivel de riesgo razonado, los fallos principales, el punto de intervención humana, los criterios de escalado, el propietario de excepciones, los límites de autonomía y la condición de parada.

Frontera de control resultante

La oportunidad ya tiene una frontera de control. Sabes qué puede salir mal, qué consecuencias importan, dónde debe intervenir una persona y cuándo el sistema debe detenerse. En la siguiente lección compararás este caso con otras oportunidades mediante impacto, coste, riesgo y capacidad de medición.