Sistemas de alto riesgo — los requisitos, uno por uno

Un sistema que encaja en un uso del Anexo III es de alto riesgo, salvo que su proveedor documente que no supone un riesgo significativo porque hace una tarea de procedimiento estrecha, mejora el resultado de una actividad humana ya terminada, detecta patrones sin sustituir la valoración humana o hace una tarea preparatoria. Esa vía de excepción tiene un tope: si el sistema elabora perfiles de personas físicas, es de alto riesgo siempre, cumpla o no alguna de esas condiciones.

El equipo comercial de Cajeto sostiene que Admite «solo prepara» la decisión del comité. Pero Admite puntúa a cada aspirante a partir de sus datos personales, incluidos su colegio de origen y su municipio, y el orden final sale de ese puntaje.

Los requisitos de la sección 2 del capítulo III no se cumplen una vez: se cumplen para el sistema que está en el mercado. Un informe de datos que examinó los sesgos de una versión anterior no dice nada de una versión reentrenada con datos nuevos y variables nuevas. Por eso una matriz de evidencia se lee con dos columnas a la vez: qué artefacto hay y qué versión cubre.

Cruza la matriz con el historial de versiones. Uno de los artefactos sigue marcado como «vigente» por su responsable, pero cubre una versión que ya no corre y cuyo cambio afecta justo a lo que ese requisito examina.

El artículo 14 no se satisface con que una persona «mire» la salida. Pide que quien supervisa pueda entender los límites del sistema, ser consciente del riesgo de confiar de más en él, interpretar su salida, decidir no usarla, anularla o revertirla, e interrumpir el sistema. Un comité que solo puede comentar un orden que no puede cambiar no supervisa: firma.

La matriz dice que el diseño de supervisión está vigente. La consola que usará el comité cuenta otra cosa.

La universidad necesita saber cuántos requisitos de la matriz no tienen hoy evidencia válida. Cuenta tres situaciones: el artefacto está pendiente; el artefacto existe pero cubre otra versión; o el artefacto dice algo que la propia evidencia del sistema contradice. El estado que escribe cada responsable no basta: hay que mirarlo contra los datos.

El requisito de exactitud, solidez y ciberseguridad es el que más toca al oficio de este curso. Pide declarar niveles de exactitud en las instrucciones de uso y que el sistema resista errores, fallos e intentos de terceros de alterar su uso o su salida aprovechando vulnerabilidades propias de la IA. El informe pendiente de Cajeto debe demostrar eso con pruebas sobre la versión que se comercializa.