Evaluaciones de impacto en derechos

Una evaluación de impacto en derechos mira el sistema desde las personas a las que se aplica, no desde su rendimiento. El reglamento europeo de IA la pide, antes del primer uso, a los organismos públicos (y a quienes prestan servicios públicos) que despliegan ciertos sistemas de alto riesgo, entre ellos los que evalúan si una persona puede acceder a prestaciones y servicios públicos esenciales. Pide describir el proceso en que se usa, cuánto tiempo y con qué frecuencia, qué personas y grupos pueden verse afectados, los riesgos concretos para ellos, la supervisión humana y lo que se hará si el riesgo se materializa, incluido cómo se reclama.

Fuera de Europa no siempre es obligatoria, pero el método sirve igual: una alcaldía colombiana puede adoptarlo como guía interna, que es lo que hizo La Fiquera. Lo que no es una evaluación de impacto es una lista de métricas de exactitud: un modelo puede acertar en el 95 % de los casos y concentrar sus errores en un solo grupo.

El error más caro de una evaluación de impacto es olvidar a un grupo, porque todo lo demás (riesgos, mitigaciones, supervisión) se calcula sobre los grupos que sí se listaron. Para encontrarlo no basta con leer el borrador: hay que cruzarlo con quién usa el servicio de verdad y con qué datos se entrenó el modelo. Un grupo que llega por un canal que el modelo nunca vio es justo el que más puede sufrir sus errores.

Una evaluación se revisa recalculando, no leyendo la columna de resultados. Un puntaje mal multiplicado deja un riesgo por debajo del umbral, y con él se va la obligación de tener una mitigación con responsable y fecha antes de usar el sistema.

Una mitigación sin responsable ni fecha es una intención. Para los riesgos que alcanzan el umbral, la guía exige ambas cosas antes de usar el sistema; si faltan, el sistema no debería estar decidiendo todavía.

Una evaluación de impacto describe un sistema concreto. Si cambian sus variables, sus fuentes de datos, su umbral o la población a la que se aplica, cambian también los riesgos, y la evaluación deja de describir lo que se va a usar.