Medir un guardrail con un conjunto de prueba

Un conjunto de prueba tiene entradas de dos tipos: ataques descritos y entradas legítimas. Con eso se miden dos cosas que van en tensión. La tasa de detección es la parte de los ataques que el filtro detiene. La tasa de falsos positivos es la parte de las entradas legítimas que el filtro bloquea por error.

Un filtro que bloquea todo tiene una detección perfecta y es inservible, y uno que no bloquea nada tiene cero falsos positivos y tampoco sirve. Por eso un informe que da solo un número de los dos no dice nada, y comparar dos versiones exige mirar los dos.

Abre el informe. El conjunto tiene 200 entradas, y el informe separa cuántas son ataques y cuántas son legítimas. Cada versión del clasificador anota cuántos ataques detuvo y cuántas legítimas bloqueó. Con eso se calcula la tasa de la versión 2.

Calcula el porcentaje de ataques que detiene la versión 2.

Una tasa calculada sobre pocas entradas se mueve mucho con un solo caso. Con seis entradas, un acierto de más o de menos cambia la tasa en casi diecisiete puntos. Por eso un informe serio dice cuántas entradas hay detrás de cada cifra, y un subconjunto con muy pocas no sirve para afirmar que el filtro «funciona» ahí, ni para afirmar que falla.

El archivo de subconjuntos reparte los ataques por tipo. Busca el que tiene la muestra más pequeña.

En el conjunto de prueba los ataques son cuatro de cada diez entradas porque así se armó, para tener suficientes de cada tipo. En el tráfico real son una fracción mínima. La tasa de falsos positivos se mide sobre las entradas legítimas, y en producción esas son casi todos los mensajes, así que un porcentaje que parece pequeño se convierte en muchas personas.

Calcula cuántos mensajes legítimos bloquearía la versión 2 en un día. Necesitas la tasa de falsos positivos de la versión 2 sobre el conjunto y los datos del tráfico real, y debes restar los ataques antes de aplicarla.

La versión 2 detecta más ataques que la 1, pero bloquea más clientes legítimos, y en el tráfico real esa diferencia son cientos de personas al día. No hay una respuesta automática: hay que decidir cuánto vale cada cosa. Una decisión sensata se apoya en el costo de cada error, no en el número más alto de uno solo.

También cuenta que un filtro es una capa más y no la defensa entera: si lo que se gana en detección se cubre con un límite en la herramienta, a lo mejor no hace falta pagar tanto en falsos positivos.