Normalizar y deduplicar, una fila por hallazgo

Deduplicar no es borrar filas parecidas: es decidir qué combinación de campos identifica un hallazgo y quedarse con una fila por cada combinación. La clave debe ser lo bastante fina para no fundir cosas distintas y lo bastante gruesa para unir lo que es lo mismo.

Una clave habitual es el activo, la vulnerabilidad y el puerto o servicio afectado. Lo que no entra en la clave es lo que cambia en cada escaneo: la fecha, el identificador de la fila, la herramienta que lo vio. Una misma vulnerabilidad en dos puertos de un mismo host son dos hallazgos, porque se arreglan por separado.

Normalizar un activo es llevarlo a una forma única: minúsculas, sin espacios en los bordes, sin el dominio. Pero a veces el escáner no entrega un nombre sino una dirección IP, y entonces hay que traducirla con una tabla del inventario. Una IP puede cambiar de dueño con el tiempo, así que la tabla debe ser de la fecha del escaneo.

Abre bruto.csv y localiza la fila cuyo host es una dirección. Búscala en ips.txt.

Cuando se aplica la regla de la clave, las filas se agrupan: cada grupo es un solo hallazgo visto varias veces. Mirar el tamaño de los grupos sirve para dos cosas: saber cuánto ruido metía cada origen y detectar si una vulnerabilidad aparece en todos los escáneres, lo que da confianza de que es real.

Aplica mentalmente la regla del leeme.txt a las diez filas de bruto.csv: minúsculas, sin espacios, sin dominio, IP traducida, y compara host, CVE y puerto.

Con la clave definida, el número de hallazgos únicos es el número de combinaciones distintas. Es la cifra que se lleva a la reunión, no la de filas brutas. Y se anota cuántas filas se descartaron y por qué, para que otra persona pueda repetir la limpieza y llegar al mismo resultado.

Ojo con dos filas que parecen duplicadas y no lo son: si el puerto es distinto, la clave es distinta.