Impacto discriminatorio y marco legal

Hay dos formas de discriminar que conviene no mezclar. El trato diferente es usar el atributo protegido para decidir: «a las personas rurales, un umbral más alto». El impacto desigual, o impacto discriminatorio, es una regla en apariencia neutral —un puntaje, una variable, un requisito— que produce resultados claramente peores para un grupo protegido, aunque nadie lo haya buscado. En los sistemas de IA lo segundo es lo frecuente: nadie escribe «rechaza a los rurales», pero el modelo lo hace a través de una variable sustituta o de una etiqueta heredada.

Varias normas recogen esta idea. En Colombia, el artículo 13 de la Constitución consagra la igualdad y prohíbe la discriminación. En la Unión Europea, el reglamento de IA (Reglamento (UE) 2024/1689) pide a quien provee un sistema de alto riesgo examinar sus datos de entrenamiento, validación y prueba en busca de sesgos que puedan llevar a una discriminación prohibida, y tomar medidas para detectarlos, prevenirlos y mitigarlos (artículo 10). Qué obliga exactamente a una organización concreta lo determina quien tiene la formación jurídica; el trabajo del equipo de riesgo es medir y documentar bien.

Una señal práctica muy usada para detectar un posible impacto desigual es comparar tasas de selección: se divide la tasa de cada grupo entre la del grupo con la tasa más alta y se mira si la razón queda por debajo de un umbral. El umbral de 0,80 viene de unas pautas federales de Estados Unidos de 1978 sobre procedimientos de selección de personal, que lo usan como indicio, no como prueba, y que advierten que con números pequeños una diferencia grande puede no significar nada. Corontillo adoptó esa señal como regla interna.

Abre el laboratorio, lee la regla interna de alerta y aplícala a la zona con las decisiones de Huillín del tercer trimestre.

Aplica la misma regla al atributo de pertenencia étnica. La razón queda también por debajo del umbral, pero el grupo es muy pequeño en el trimestre. Lee qué dice la regla interna para ese caso antes de decidir.

Para medir la equidad hay que conocer los atributos protegidos de las personas, y algunos son datos sensibles. En Colombia, la Ley 1581 de 2012 considera sensibles, entre otros, los datos que revelan el origen racial o étnico y los relativos a la salud (artículo 5), y prohíbe tratarlos salvo excepciones, la primera de las cuales es la autorización explícita del titular (artículo 6). La autoridad de protección de datos ha señalado que, para estos datos, no basta una conducta que se pueda interpretar como aceptación.

Medir el sesgo no exime de cumplir la ley de datos. Revisa el inventario de datos del formulario de Huillín y busca el dato sensible cuya autorización no es explícita.

Una socia de una agencia rural reclama que le negaron el microcrédito sin explicación. Hay una alerta abierta en la zona y una no concluyente en otro grupo. El equipo de riesgo de IA tiene la evidencia; no tiene la formación para calificarla jurídicamente.