Pruebas y versión

Una regla se prueba con dos conjuntos. Los positivos conocidos son eventos de incidentes reales o simulados que la regla debe detectar. Los benignos son actividad normal de la empresa que no debe saltar. Con solo uno de los dos conjuntos se engaña uno: una regla que no detecta nada tiene cero falsos positivos, y una que detecta todo no pierde ningún positivo.

Cada versión nueva se corre contra los dos y se compara con la anterior.

Abre la estación y lee resultados-por-version.csv. Una regresión es cuando un cambio hace perder algo que la versión anterior sí lograba. Compara la columna de positivos detectados entre versiones: donde baje del total de 10, hay una pérdida.

La versión 1.1 añadió una exclusión estrecha y la 1.0 era la regla original. Para medir el efecto de un cambio se resta el resultado antes y después sobre el mismo conjunto de eventos benignos (200 en este caso). Una mejora real baja los falsos positivos sin bajar los positivos detectados.

Cuando una regla cambia, conserva su id (es su identidad y lo que une su historial) y se actualiza el campo modified. El historial anota qué se cambió y por qué, y el resultado de las pruebas queda al lado. Una regresión como la de la versión 1.2 se anota igual que un éxito, y la versión no se promociona de experimental a test hasta que sus pruebas estén limpias.