Medir la utilidad, tasa de verdaderos positivos

La tasa de verdaderos positivos de una regla (también llamada precisión) es la parte de sus alertas que resultaron ser reales: verdaderos positivos entre el total de alertas revisadas. Una regla con 100 alertas y 5 verdaderas tiene una tasa del cinco por ciento: de cada veinte avisos, diecinueve son ruido.

Esta cifra responde a «¿cuánto vale la pena atender lo que la regla avisa?». No responde a «¿cuánto de lo malo ve la regla?», que exigiría conocer los incidentes que pasaron sin alerta.

El número de falsos positivos engaña: una regla con muchas alertas acumula muchos falsos aunque su tasa no sea la peor. Para comparar reglas se usa la proporción, no el conteo. A veces la que más falsos acumula no es la que peor tasa tiene.

Compara las reglas por comportamiento de la tabla.

La tasa se expresa en porcentaje: verdaderos positivos entre alertas, por cien. Es una medida simple y comparable. Sirve para decidir qué regla se afina primero y cuál ya se puede atender con confianza.

Calcula la de la regla de escaneo interno.

Cada falso positivo cuesta el tiempo de quien lo revisa. Multiplicar los falsos de una regla por los minutos que lleva atender cada alerta da lo que el ruido le cuesta al equipo en el mes. Es el argumento más fuerte para afinar una regla: traducir el ruido a horas de analista.

Calcula los minutos que consumió el ruido de la regla de destino nuevo.

Una regla con tres alertas y tres verdaderas tiene el cien por cien, pero tres casos no bastan para confiar en esa cifra: la siguiente alerta puede cambiarla por completo. Y la tasa no ve lo que la regla no avisó; el campo de incidentes que ninguna regla vio quedó «sin medir» en la tabla, y debe decirse así, no rellenarse.

Hay que informar la cifra con el tamaño de la muestra y con lo que no cubre.