Sesgo, deriva y explicabilidad

En detección, el sesgo rara vez tiene que ver con atributos personales: tiene que ver con a quién se parece lo que el modelo aprendió como normal. Si la mayoría de los datos de entrenamiento vienen de gente que trabaja de nueve a cinco desde una oficina, quien trabaja de noche, desde una sucursal rural o con otra herramienta se aparta de lo aprendido y recibe más alertas, aunque no haga nada malo. El costo es doble: esas personas son investigadas más veces, y el equipo se acostumbra a cerrar sus alertas sin mirar, que es justo lo que un atacante puede aprovechar.

Abre alertas_por_grupo. Para cada grupo, la fracción de falsas alertas es (alertas − confirmadas) / alertas. Todos los grupos tienen cifras altas, y eso es normal en detección de comportamiento, así que no basta con ver que sea alta: hay que ver quién se aparta más.

La deriva es el cambio gradual o súbito de los datos que el modelo recibe respecto de los que aprendió. Nadie reentrenó el modelo, y aun así el porcentaje de eventos por encima del umbral pasó de un valor estable a otro mucho mayor. En puntaje_mensual se ve el mes en que dejó de ser estable.

Muchos productos acompañan el puntaje con una explicación: una lista de cuánto aportó cada característica al resultado. Son útiles para orientar la investigación, pero tienen un límite: dicen qué pesó en el modelo, no por qué ocurrió el hecho. Abre explicacion_de_una_alerta y notas_de_la_explicacion, y mira qué característica aportó más al puntaje de la alerta A-5530.

La característica de mayor peso en la alerta A-5530 coincide con la forma de trabajar del grupo con más alertas falsas, y la deriva empieza el mes de un cambio de software que afectó a todos los equipos. Son tres hallazgos distintos con una causa de fondo común: el modelo no conoce el contexto de trabajo.