El costo de un catálogo de detecciones

La calidad de una detección se mira con tres números. La precisión dice, de las alertas que dio, cuántas eran incidentes. La sensibilidad dice, de los incidentes que debía ver, cuántos vio; solo se conoce cuando un incidente se encuentra por otro camino y alguien pregunta qué regla debía haberlo visto. El costo de revisión son los minutos que el turno gasta cerrando sus alertas: disparos por minutos de cada una.

Para decidir entre reglas, el costo se junta con el acierto: los minutos por verdadero positivo, es decir, cuánto tiempo de turno cuesta cada alerta que de verdad valía la pena. Una regla con precisión baja pero barata de cerrar puede ser buena; una con precisión alta y revisión carísima, no.

Abre el catálogo de septiembre. La tabla catalogo_septiembre trae, por regla, los disparos del mes, los verdaderos, los incidentes que no vio y los minutos que cuesta cerrar una alerta. Multiplicando disparos por minutos sale lo que cada regla le cuesta al turno en el mes.

La regla que más minutos gasta no siempre es la peor: hay que dividir entre lo que dio de valor. Calcula los minutos por verdadero positivo de la regla del servicio nuevo en un servidor (PDC-103): sus minutos del mes entre sus verdaderos.

Una regla barata y callada puede ser la peor del catálogo, porque no se nota lo que no ve. La sensibilidad se calcula con los verdaderos y los incidentes que no vio: verdaderos entre la suma de ambos. Con una sola mirada al catálogo la regla más ruidosa parece la peor; esta tarea es para mirar el otro lado.

El equipo de triaje no tiene minutos infinitos. La tabla presupuesto trae sus analistas, los minutos de triaje que cada uno tiene al día y los días laborables de septiembre. Los minutos disponibles son el producto de los tres; la suma de los minutos de todas las reglas es lo que el catálogo consumió.

Antes de activar una regla nueva se pregunta cuánto cuesta y de dónde se quita: lo que sobra es el margen del catálogo.