Auditoría de modelos de riesgo

En el gobierno de modelos se suele hablar de tres líneas. La primera construye y opera el modelo y es su dueña. La segunda lo valida de forma independiente: quien valida no construye. La tercera, auditoría interna, no rehace el modelo ni decide variables: comprueba que el proceso se cumple, y lo reporta.

Lo que revisa es concreto: que cada modelo en producción esté en el inventario con dueño y nivel de impacto; que la versión que corre sea la validada; que la validación no esté vencida; que cada cambio de modelo, de variables o de umbrales haya pasado por el comité antes de producción; y que el monitoreo tenga umbrales y, cuando se superan, una acción registrada. NIST, en su marco de gestión de riesgos de IA, pone estas tareas dentro de las funciones de gobernar, medir y gestionar.

Un umbral de decisión es parte del modelo aunque no se reentrene nada: subir el monto que un sistema paga solo cambia cuánto dinero sale sin que una persona lo vea. Por eso las políticas sanas tratan un cambio de umbral igual que una versión nueva. El registro de cambios dice quién aprobó cada uno y si se validó; un cambio sin las dos cosas es el hallazgo más directo.

La política fija dos condiciones para los modelos de impacto alto: validar cada versión antes de producción y no dejar pasar más de 12 meses sin validar. Un modelo puede incumplir por cualquiera de las dos. Para contarlo bien, se toma la fecha de corte de la auditoría y se revisa fila por fila; uno que está cerca del límite pero dentro no incumple.

Monitorear no es tener un tablero: es que, cuando la métrica cruza su umbral, alguien haga algo y lo deje escrito. Un estimador de daños que se equivoca cada vez más termina pagando de más o de menos, y si nadie actúa, el monitoreo solo documenta el problema.

Un informe de auditoría ordena los hallazgos por su efecto, no por el orden en que aparecieron. Pesa más el que combina varias fallas sobre una decisión que toca el dinero del cliente sin una persona en medio que uno que solo es una formalidad.