Evaluar una regla contra resultados ficticios

Una regla se mide con dos cifras que vienen de conjuntos distintos. La detección se mide en muestras etiquetadas, confirmadas como de la familia por personas: qué parte de ellas marca la regla. La tasa de falsos positivos se mide en un corpus limpio, software legítimo de la propia organización: qué parte de él marca la regla sin deber. Mezclar los conjuntos da cifras que no significan nada.

Los repositorios de muestras que se usan para esto los mantienen organizaciones legítimas (equipos de respuesta sectoriales, mesas de intercambio, investigadores) con acuerdos de uso, y la búsqueda se hace en un entorno aislado. Consulta SELECT * FROM conjuntos y SELECT * FROM politica.

Consulta SELECT * FROM resultados. La detección es el número de muestras etiquetadas que la regla marca dividido entre el total de muestras etiquetadas del conjunto.

Una regla que detecta todas las muestras parece la mejor hasta que se mira el corpus limpio. Para cada regla, divide sus coincidencias en el corpus limpio entre los archivos del corpus y compara con el máximo de la política. Una regla que lo supera alertaría por software de la propia aseguradora cada semana.

La política exige algo más que la cifra: cada coincidencia en el corpus limpio debe tener explicación y su dueño debe saberlo. Si casi todas vienen de un solo programa legítimo, el aviso va a una sola área y la explicación queda escrita junto a la regla. Consulta SELECT * FROM revision_limpio.

La regla Estructura también marca 4 de las 600 muestras de otras familias. No son falsos positivos del mismo tipo que los del corpus limpio: son archivos maliciosos, pero la regla dice que son Tatacoa y el repositorio dice que no. Puede que la regla sea imprecisa, que las familias compartan código o que esas muestras estén mal etiquetadas.