Evaluación de impacto y supervisión humana

Una evaluación de impacto responde, antes de poner el sistema en uso, a preguntas sencillas: para qué sirve, a quién afecta, qué daños son posibles, con qué datos funciona, qué supervisión tiene y cómo reclama quien resulte perjudicado. La Ley de IA exige, a ciertos responsables del despliegue de sistemas de alto riesgo, una evaluación del impacto en los derechos fundamentales, y la norma ISO/IEC 42001 pide evaluar el impacto de los sistemas de IA.

El momento importa: una evaluación escrita después del despliegue documenta lo ocurrido en lugar de prevenirlo, y debe actualizarse cuando el sistema, los datos o el uso cambian.

Una evaluación de impacto con un apartado vacío puede ser la más importante de leer. Abre plantilla_de_evaluacion y evaluacion_de_impacto_credito, y compara apartado por apartado lo que la plantilla pide con lo que se escribió.

La Ley de IA pide que los sistemas de alto riesgo puedan ser vigilados por personas, y que quienes los vigilan entiendan sus límites, puedan decidir no seguir la salida del sistema y no se limiten a confirmarla de forma automática. Esto se conoce como sesgo de automatización: la persona acaba aprobando lo que propone la máquina.

Una supervisión así no se detecta preguntando, se detecta en el registro: dos señales son un acuerdo del cien por cien con el sistema y un tiempo de revisión muy bajo.

Lee revision_humana_por_revisor.

Un sistema puede tener una exactitud global aceptable y tratar muy distinto a grupos distintos. La evaluación de impacto existe para mirar eso. Un primer cribado es calcular la tasa de aprobación de cada grupo, dividiendo las aprobaciones entre las solicitudes, y comparar.

Lee resultados_por_zona. Una diferencia no prueba por sí sola una discriminación: señala dónde investigar.

Tienes tres cosas: un apartado sin contenido, un revisor que nunca difiere en seis segundos y una zona con la tasa más baja. El responsable del sistema propone sancionar al revisor y seguir como hasta ahora.