Medir una regla: cuánto acierta y cuánto cuesta

Cada vez que una regla mira un evento puede pasar una de cuatro cosas. Salta y había algo: verdadero positivo. Salta y no había nada: falso positivo. Calla y no había nada: verdadero negativo, que es lo que pasa con casi todos los eventos. Calla y había algo: falso negativo, el incidente que pasó por delante sin que nadie se enterara.

Las dos primeras casillas se cuentan solas, porque cada alerta acaba cerrada con un veredicto. En el SOC de Delta se apunta si se escaló como incidente o se cerró sin incidente; el benigno verdadero —la conducta ocurrió, pero estaba autorizada— cuenta aquí entre las cerradas, porque al turno le costó lo mismo que un falso positivo.

La cuarta casilla es la difícil. Un falso negativo no deja alerta, así que la regla no puede contarlo. Solo aparece cuando el incidente se descubre por otro camino —la caza semanal, el aviso de un usuario, otra regla, la revisión de otro incidente— y alguien se pregunta qué regla debía haberlo visto y por qué calló.

La precisión responde a la pregunta del turno: de lo que esta regla me pone en la cola, ¿cuánto merece la pena? Se calcula como los verdaderos positivos entre todas sus alertas: VP / (VP + FP). Una regla que saltó 200 veces y acabó en incidente 10 tiene una precisión del 5 %: diecinueve de cada veinte alertas suyas son tiempo que el turno no recupera.

La precisión baja es la queja de todo turno, y con razón, porque es la medida que se nota cada día. Pero sola engaña: no dice nada de lo que la regla no vio. Una regla puede acertar todas las veces que habla y callarse justo cuando importa.

La sensibilidad mira el otro lado: de los incidentes que esta regla debía ver, ¿cuántos vio? Se calcula como VP / (VP + FN), y por eso necesita los falsos negativos de la tarea 1. Una regla con precisión perfecta y sensibilidad del 50 % es una regla que, cuando habla, siempre tiene razón, y que se calla la mitad de las veces que debería hablar.

Cada falso negativo trae su motivo, y el motivo es la mitad del valor de medir. Casi nunca es «la regla falló» sin más, sino «la regla mira una forma de la conducta y el incidente llegó con otra». Ese motivo es el que se convierte en la versión siguiente de la regla.

La tercera medida no es de la regla, es del turno. Un analista no triaja ocho horas seguidas: entre el traspaso, los tickets, los informes y las pausas, le quedan unas horas de triaje por turno. Multiplicado por los analistas y los turnos del día, eso es el presupuesto de minutos del SOC, y cada regla gasta una parte: sus alertas al día por los minutos que cuesta cerrar cada una.

Hacer esa cuenta cambia la conversación. «Esta regla es ruidosa» se discute; «esta regla se come dos horas de analista al día y en un mes acertó una vez» se decide. Y sirve en los dos sentidos: también dice cuánto ruido se puede permitir una regla nueva antes de activarla.

Precisión y sensibilidad tiran en sentidos opuestos: ensanchar la condición sube la sensibilidad y baja la precisión, y estrecharla hace lo contrario. No hay un punto bueno para todas las reglas: depende de lo que cuesta cada error. Si la conducta es rara, el volumen es bajo y perderse un caso es grave, se acepta algo de ruido a cambio de no perderse nada. Si la conducta es frecuente y un caso suelto importa poco, se prioriza la cola limpia.

Lo que no se acepta es no saberlo. Una regla activa sin precisión, sin sensibilidad y sin coste medidos es una apuesta, aunque esté bien escrita.