Fuentes de sesgo: datos, etiquetas y despliegue

Un modelo que aprende de decisiones pasadas aprende también sus defectos, aunque nadie haya querido discriminar. Para buscarlos con orden conviene separar tres orígenes:

• Los datos. Quién está en el conjunto de entrenamiento y en qué proporción. Si un grupo casi no aparece, el modelo aprende poco de él y se equivoca más con él. Y aunque un atributo protegido (zona, sexo, edad) se quite del modelo, otra variable muy relacionada puede reintroducirlo: se le llama variable sustituta.
• Las etiquetas. Lo que el modelo intenta predecir. Si la etiqueta sale de decisiones humanas anteriores, o solo se observa para una parte de las personas, el modelo aprende la decisión de entonces, no la realidad.
• El despliegue. Dónde, con quién y cómo se usa. Un modelo ajustado para una población y llevado a otra, un umbral fijado en un sitio y aplicado en todos, o personas que acatan el puntaje sin revisarlo cambian el resultado sin tocar una línea del modelo.

El marco de gestión de riesgos de IA del NIST trata la equidad, con el sesgo dañino gestionado, como una de las características de un sistema confiable, y su publicación especial 1270 distingue sesgos sistémicos, estadísticos o computacionales y humanos. Esta sala usa la división práctica de arriba porque dice dónde buscar en la evidencia.

Abre el laboratorio. La gerencia de riesgos de Corontillo te deja la ficha del conjunto de entrenamiento de Huillín, el diccionario de variables, las solicitudes de este año y las notas de despliegue. Empieza por la representación: compara la proporción de solicitudes rurales con que se entrenó el modelo con la proporción que recibe hoy. Una diferencia grande dice que el modelo vio poco de la población a la que ahora decide.

La etiqueta de Huillín es si la persona pagó. Pero solo se sabe si pagó quien recibió el crédito: de quien fue rechazado no hay resultado observado. Este es un problema conocido de los modelos de crédito y de selección, a veces llamado de etiquetas selectivas: el resultado solo existe para quien pasó la decisión anterior.

Lo que importa es qué hizo el equipo con esos huecos. Si les puso un resultado inventado, el modelo aprende que el grupo más rechazado en el pasado «no paga», y el sesgo de la decisión antigua se convierte en dato. Busca en la ficha la regla de preparación que hace exactamente eso.

El diccionario dice que la zona, el sexo y la franja de edad no entran al modelo. Eso no basta para que el modelo no las use: si una variable que sí entra casi permite deducir un atributo protegido, el modelo puede tratar distinto a ese grupo sin «verlo». El equipo de datos midió la asociación de cada variable con cada atributo, en una escala de 0 a 1.

Busca la variable que entra al modelo y casi reproduce un atributo protegido. Una asociación moderada es una señal para vigilar; una cercana a 1 es casi el mismo dato con otro nombre.

Lee ahora las notas de despliegue. En enero de 2026 Huillín empezó a decidir en las agencias móviles rurales, con el mismo umbral que se fijó con los datos de una sucursal urbana, con un dato de ingreso que en modo sin conexión se guarda de otra forma y con asesores que aplican el puntaje sin revisarlo. Ninguna de esas tres cosas cambia el modelo, y las tres pueden cambiar a quién se rechaza.