Tasa base y la falacia de la base

5 tareas · 40 min · Principiante

Una regla que acierta el 90 % de los ataques y se equivoca solo el 2 % de las veces suena excelente. Sin embargo, si lo malicioso es un inicio de sesión entre diez mil, casi todas sus alertas serán falsas. Esa confusión entre la exactitud de la regla y la probabilidad de que una alerta concreta sea cierta se llama falacia de la tasa base. En la Aseguradora Colina Verde hay una regla y dos poblaciones de inicios de sesión. Calculas cuántas alertas falsas produce, cuántas son ciertas y por qué la misma regla vale distinto según dónde se ponga.

0 de 5 · 0%

Objetivo de la sala

De una regla se miden dos cosas con datos de laboratorio. La sensibilidad es el porcentaje de casos realmente maliciosos que la regla marca. La tasa de falsas alarmas es el porcentaje de casos legítimos que marca por error. Ninguna de las dos responde a la pregunta que le importa al turno: cuando suena una alerta, ¿qué probabilidad hay de que sea cierta?

Esa probabilidad depende de un tercer dato, la tasa base: qué parte de todo lo que se observa es realmente malicioso. Con 100.000 eventos y apenas 10 maliciosos, una regla que marca el 95 % de lo malicioso y el 1 % de lo legítimo produce cerca de 10 aciertos y casi 1.000 falsas alarmas. La regla es buena y la alerta, casi siempre, falsa.

Responde para continuar

¿Por qué una regla con alta sensibilidad puede producir alertas que casi siempre son falsas?

Porque lo malicioso es escaso y un error pequeño sobre mucho tráfico legítimo suma más falsas que aciertos Porque las reglas sobre inicios de sesión se equivocan más que las de cualquier otra fuente de datos del SIEM Porque la sensibilidad medida en laboratorio es siempre mucho menor cuando la regla pasa a producción

Abre la regla y las poblaciones. Los casos legítimos son todos los inicios de sesión del mes menos los realmente maliciosos. Las falsas alarmas son el porcentaje de falsas alarmas de la regla aplicado a esos casos legítimos. Calcúlalo para el portal de clientes.

Responde para continuar

Escribe cuántos inicios de sesión legítimos marcaría la regla en un mes en el portal de clientes.

Ver pista de ayuda

Consulta `SELECT * FROM regla` y `SELECT * FROM poblaciones`; resta los maliciosos del total y aplica el porcentaje de falsas alarmas.

Una alerta es cada inicio que la regla marca, sea malicioso o legítimo. Las alertas ciertas son los maliciosos multiplicados por la sensibilidad. Con eso se calcula la parte de verdad dentro del total de alertas. Exprésala por cada mil alertas y redondea al entero.

Responde para continuar

Escribe cuántas alertas ciertas hay por cada mil alertas del portal de clientes.

Ver pista de ayuda

Verdaderas = maliciosos × sensibilidad. Alertas = verdaderas + falsas. Divide y multiplica por mil.

La regla no cambió entre las dos poblaciones: sus tasas de error son las mismas. Lo que cambia es la tasa base. Recalcula con los datos del otro portal y compara. Puede que la respuesta no sea la que dictaría la intuición de «el portal más grande es el que más alertas ciertas da».

Responde para continuar

Escribe el identificador de la población donde una alerta de esta regla tiene más probabilidad de ser cierta.

Ver pista de ayuda

Calcula, para cada población, verdaderas entre alertas totales y compara los dos porcentajes.

En el portal de clientes, la precisión resulta bajísima aunque la regla sea buena. La regla tiene dos palancas: la sensibilidad y la tasa de falsas alarmas. Subir la sensibilidad suele subir también las falsas alarmas. Bajar las falsas alarmas exige más información sobre cada inicio de sesión.

Responde para continuar

¿Qué cambio mejora la proporción de alertas ciertas en ese portal?

Subir la sensibilidad de la regla hasta el 99 % para no perder ningún ataque ni un solo inicio malicioso Exigir una segunda condición antes de alertar y medir de nuevo cuántas alertas resultan ciertas Retirar la regla, porque con una sensibilidad del 90 % ya no hace falta vigilar el portal

Inicia sesión para registrar tus puntos y progreso en el ranking.

Entrar · Registrarse

1 Dos tasas de error no dicen cuántas alertas son ciertas

2 Contar las falsas alarmas de un mes Lab

3 Cuántas alertas de cada mil son ciertas Lab

4 La misma regla, otra población Lab

5 Qué hacer con la regla en el portal grande

Whoami-Labs Pro utiliza cookies