Probar una regla antes de activarla

Una regla pasa por cuatro estados. En borrador alguien la escribe y nadie más la ve. En pruebas se reproduce sobre datos pasados y se le pasan sus casos de prueba, sin mandar nada a la cola del turno. Activa es cuando sus alertas llegan al turno, y solo se llega ahí con las pruebas superadas y la ficha escrita. Retirada es cuando ya no tiene sentido —se apagó lo que vigilaba, la sustituye otra mejor—: se desactiva y se conserva con su historial y su motivo.

No se borra porque mañana alguien preguntará por qué esa conducta dejó de vigilarse, y la respuesta tiene que estar ahí. Cada cambio de estado lleva fecha y responsable, y cada cambio de lógica es una versión nueva que vuelve a pruebas.

La primera prueba es la más barata y la que más enseña: lanzar la regla sobre los datos de un mes ya pasado, como si hubiera estado activa. La reproducción dice dos cosas antes de molestar a nadie: cuántas alertas habría dado, que se compara con los minutos que tiene el turno, y qué habría encontrado.

Tiene dos límites que conviene saber. Solo ve lo que pasó ese mes: no demuestra que la regla vea una forma de la conducta que no ocurrió. Y depende de cuánto tiempo guarde la fuente sus datos: con siete días de retención no se reproduce un mes.

La reproducción solo ve lo que pasó; los casos de prueba cubren lo que la regla tiene que ver aunque ese mes no pasara. Son eventos preparados a propósito, cada uno con lo que la regla debe hacer: saltar con la conducta que describe, en sus distintas formas, y callar con el falso positivo conocido. Se generan en un equipo de laboratorio reproduciendo la conducta de forma controlada, y se guardan para volver a pasarlos con cada versión.

Una versión que arregla un caso puede romper otro. Por eso se pasan todos, no solo el que motivó el cambio, y una regla no sale de pruebas con un caso en rojo.

Cuando la regla salta a las tres de la mañana, quien la atiende no la escribió. Todo lo que necesita para decidir tiene que estar en su ficha: qué conducta busca y por qué importa, la técnica de ATT&CK, de qué fuente lee, la lógica en palabras, los falsos positivos conocidos y las excepciones con su dueño y su fecha, qué hacer cuando salta, quién es su dueño y cuándo se probó por última vez. Sin ficha, cada alerta empieza de cero.

La ficha también protege a la regla: quien quiera cambiarla o apagarla ve en ella lo que se perdería.

La versión 3 supera los seis casos. Antes de activarla se reproduce sobre febrero y se lee cada alerta que habría dado: las que explica un ticket o un ejercicio autorizado, y las que no explica nada.