Pruebas de equivalencia entre la regla y su consulta

Dos formas de una detección son equivalentes cuando, ante los mismos eventos, dan el mismo veredicto: saltan en los mismos y callan en los mismos. No quiere decir que el texto se parezca ni que el conversor termine sin errores. La referencia es lo que la regla en Sigma dice que debe pasar (por ejemplo, que los valores de texto se comparan sin distinguir mayúsculas), no lo que la consulta resulte hacer.

Un buen conjunto de casos de equivalencia tiene tres clases: positivos (deben saltar), negativos (deben callar, incluidos los que la regla excluye a propósito) y variantes, escrituras distintas de lo mismo (mayúsculas, longitudes, el mismo valor como número y como texto) que es donde los destinos se separan.

Abre el panel. casos trae los doce eventos de ejemplo de CVP-101 con el resultado que la regla espera, y resultado_de_la_consulta lo que hizo la consulta convertida. Un negativo que salta produce ruido: la consulta alerta donde la regla callaría. En esta regla el negativo en cuestión es una exclusión que la consulta no está aplicando como la regla dice.

La primera cifra de una prueba de equivalencia es cuántos casos pasan de los que hay. No es la cifra que decide (un solo positivo que no salta ya es un punto ciego), pero es la que se lleva al informe junto con la lista de los que fallan. Cuenta las filas con resultado pasa.

Los casos de ejemplo prueban lo que alguien pensó probar. El replay lanza la consulta convertida sobre un periodo de eventos reales anonimizados y compara el número de alertas con el que se espera. Muestra la brecha entre lo previsto y lo real, y apunta a qué regla hay que mirar primero. La tabla replay_30_dias trae cinco reglas.

Si CVP-101 da menos alertas de las esperadas y tiene cuatro casos que no pasan, ya hay un hecho: la consulta convertida no es equivalente. Lo que se decide es qué hacer con ella. Una diferencia puede aceptarse solo si se entiende, se explica por escrito y alguien con autoridad sobre la regla la firma; una brecha sin explicar no se acepta.