Probar una regla y medir su ruido

5 tareas · 40 min · Principiante

Martes 8 de diciembre, por la tarde. Las reglas de la semana de Valle Claro ya existen: dos de contenido y tres sobre eventos. Antes de encenderlas hay que contestar con números dos preguntas que el jefe del SOC hace siempre: cuánto se equivoca cada una y si el turno puede con lo que va a dar. En esta sala lees la matriz de resultados de una prueba ya hecha, calculas proporciones y decides en qué modo se despliega cada regla. No se prueba nada contra sistemas reales: se trabaja con resultados de ejemplo.

0 de 5 · 0%

Objetivo de la sala

Una regla se prueba contra dos cosas. Contra lo que debe encontrar: las variantes de la muestra, o los eventos que se sabe maliciosos, para saber qué se le escapa. Y contra lo que no debe tocar: un corpus de archivos limpios del parque, programas de proveedores del sector, un día entero de eventos normales, para saber cuánto ruido hace.

Probar solo contra lo malicioso premia a la regla más ancha, que lo encuentra todo y también todo lo demás. Probar solo contra lo limpio premia a la que no ve nada. Con una sola de las dos pruebas, la medición engaña.

Responde para continuar

Una regla encuentra las cinco variantes de la muestra. ¿Qué conclusión se puede sacar solo con ese dato?

Que es una regla excelente, porque encontrar todas las variantes conocidas es lo único que se le pide a una detección Ninguna sobre su ruido: falta probarla contra archivos o eventos limpios para saber cuánto marca lo que no debe marcar Que es demasiado amplia, porque una regla que encuentra todo lo que se le muestra suele hacerlo marcando también lo limpio

Con la matriz se calculan dos proporciones. La precisión responde: de las alertas que dio la regla, ¿cuántas eran reales? Es verdaderos positivos entre todas las alertas, es decir verdaderos positivos más falsos positivos. Una precisión baja es una regla que cansa al turno.

Abre la matriz, toma las cifras de la regla Sigma de la carpeta compartida (la más ancha de las tres) y calcula el porcentaje. Redondea a un número entero y escribe solo el número.

Responde para continuar

Escribe la precisión, en porcentaje, de la regla Sigma que marca todo programa que arranca desde la carpeta Public.

Ver pista de ayuda

Ejecuta `SELECT * FROM matriz` y divide sus verdaderos positivos entre la suma de verdaderos y falsos positivos.

La segunda proporción es la cobertura (en inglés, recall): de todo lo real que pasó, ¿cuánto vio la regla? Es verdaderos positivos entre verdaderos positivos más reales que no vio. Una cobertura baja es una regla que deja pasar cosas sin avisar, y es la medición que más fácil se olvida porque lo que no se ve no genera tickets.

Calcula la de la regla Sigma que busca el nombre del archivo. Escribe el porcentaje como número entero.

Responde para continuar

Escribe la cobertura, en porcentaje, de la regla Sigma que busca el nombre del archivo de la muestra.

Ver pista de ayuda

Con la misma matriz, divide los verdaderos positivos de esa regla entre ellos más los reales que no vio.

Además de acertar, una regla tiene que caber. El volumen previsto es la cantidad de alertas que daría en una semana normal; la capacidad del turno es lo que las personas pueden revisar de verdad. Una regla que supera esa capacidad no mejora la detección: sepulta el resto de lo que el turno ve.

Ordena el volumen previsto de mayor a menor y compáralo con la capacidad del turno para las reglas nuevas.

Responde para continuar

Escribe la regla cuyo volumen semanal previsto supera por sí sola lo que el turno puede revisar.

Ver pista de ayuda

Ejecuta `SELECT * FROM volumen_previsto ORDER BY alertas_por_semana DESC` y `SELECT * FROM capacidad_del_turno`.

Una regla nueva no se enciende en modo de alerta el primer día. Hay un paso intermedio: solo registrar, sin crear tickets. La regla corre sobre la producción real, deja sus coincidencias en un registro y nadie recibe alertas; al cabo de unos días se miden precisión y volumen con datos del entorno y se decide.

Es la forma de probar contra lo que ningún corpus de ejemplo reproduce del todo, sin cargar al turno ni arriesgarse a un día de ruido.

Responde para continuar

Una regla correcta pero con muchos falsos positivos en la prueba. ¿Cómo se despliega?

En modo de solo registrar durante unos días, midiendo su volumen y su precisión reales antes de encenderla en alerta En alerta desde el primer día, con una nota para que el turno cierre en bloque lo que no sea real hasta que se afine No se despliega nunca, porque una regla con falsos positivos en la prueba no se puede arreglar sin dejarla sin cobertura

Ver pista de ayuda

Piensa en lo que la regla puede medir en producción sin pedirle nada al turno.

Inicia sesión para registrar tus puntos y progreso en el ranking.

Entrar · Registrarse

1 Probar por los dos lados

2 La precisión de una regla Lab

3 La cobertura de una regla Lab

4 Lo que cabe en el turno Lab

5 Modo de despliegue Lab

Whoami-Labs Pro utiliza cookies