Medir la calidad de un feed con datos

La cifra más visible de un feed es cuántos indicadores trae, y es la que menos dice. Un feed grande puede ser grande porque copia a otros, porque nunca retira nada o porque mete en la lista cualquier cosa que alguien reportó una vez. Las métricas que sí miden calidad comparan: qué parte del feed es ruido conocido, qué parte de sus coincidencias resultaron verdaderas, qué parte trae contexto y cuánto aporta que no traiga ya otra fuente.

Consulta SELECT * FROM metricas_por_feed. Antes de calcular nada, mira cuánto cambia el orden de los cuatro feeds según la columna que se elija.

La primera medida de ruido es la proporción de indicadores del feed que coinciden con listas de advertencia: valores que ya se sabe que dan falsos positivos. Un feed con una proporción alta no tiene por qué ser malicioso ni descuidado, pero traslada a la instancia trabajo de limpieza que alguien tiene que hacer.

La precisión de un feed es la proporción de sus avistamientos que resultaron verdaderos: verdaderos entre verdaderos más falsos. Es la métrica que más le importa al SOC, porque cada avistamiento falso es una alerta que alguien revisó para nada. No depende del tamaño del feed, y por eso suele desordenar la clasificación que hacía el volumen.

El adelanto mide si el feed trae el valor antes que el resto. Un feed que de media publica después de que el valor ya apareció en otro feed o en la detección propia no aporta tiempo: llega a confirmar lo que ya se sabía. Junto con el solapamiento, es la forma de ver con datos lo que la muestra cruzada de la primera sala sugería.

Consulta SELECT * FROM adelanto y SELECT * FROM solapamiento. Recuerda que el solapamiento se lee en una dirección y no dice quién copió a quién; el adelanto, en cambio, sí ordena en el tiempo.

Con ruido, precisión, solapamiento y adelanto a la vista, la decisión deja de ser de gusto. Lo que no aporta tiempo ni fuente propia sale; lo que trae mucho ruido pero también algún acierto propio puede quedarse en caché, sin la marca IDS, para enriquecer; lo que acierta y llega pronto entra en la detección.