El modelo opaco y el método que otro puede repetir

Un modelo de puntuación que entrega un número sin razones sirve para ordenar trabajo cuando ya sabes qué buscas y puedes medirlo. No sirve cuando tienes que justificar la señal: el dueño de un servidor preguntará por qué se marcó su cuenta, el auditor preguntará cómo se decidió y el siguiente turno querrá repetirlo con datos de otra semana.

La regla práctica es que un método de caza debe poder explicarse en pocas frases con los datos en la mano. Si no se puede, se usa una técnica simple que sí se explique, y el modelo opaco, si se usa, se trata como una pista adicional y no como evidencia.

La hoja de resultados del modelo dice que detecta el 90 % de los eventos maliciosos y que marca como sospechoso solo el 1 % de los benignos. Suena excelente. Pero en un día típico casi todo es benigno, y un porcentaje pequeño de un número enorme sigue siendo un número grande.

Abre la tabla de la prueba. De los diez mil eventos del día, cien son maliciosos y el resto, benignos. La cuenta de falsas alertas es el número de benignos por la tasa de falsos positivos.

Con las cifras de la tabla, un analista recibe cada día más alertas falsas que verdaderas. No es un defecto del modelo, es aritmética de la tasa base: cuando lo que se busca es raro, hasta un modelo muy bueno entierra los aciertos en falsas alertas.

Para quien decide si adoptarlo, la pregunta útil no es qué tan preciso es el modelo sino cuántas alertas totales produce y cuántas de ellas valen una investigación.

Un método propio, simple y explicable, solo es útil si otra persona puede obtener el mismo resultado con los mismos datos. Para eso la ficha del método anota la pregunta que responde, la fuente y la versión de los datos, el periodo que se mira, el estadístico, el umbral y el criterio para descartar un resultado.

Abre la ficha del analista y la tabla de repetición. Dos personas aplicaron el método a la misma exportación y obtuvieron cifras distintas. Una de las filas de la ficha quedó sin anotar, y la segunda persona tuvo que suponerla.

El producto de una caza no es solo la lista de lo que se encontró: es la ficha con la que se encontró. Si la ficha está completa, el siguiente turno repite el método el mes siguiente y comprueba si la señal sigue ahí. Si la ficha tiene un hueco, la caza se queda en la memoria de quien la hizo.