Importar datos y limpiar identidades

Si una misma cosa llega escrita de tres maneras y cada una se convierte en un nodo, el grafo miente dos veces. Primero, reparte las conexiones de la entidad entre tres nodos, así que ninguno parece importante. Segundo, esconde enlaces: lo que una fuente unió a la versión en mayúsculas y otra a la versión neutralizada no aparece como relacionado, aunque sea lo mismo.

Por eso la limpieza va antes del grafo, no después. Se hace con reglas escritas, en un orden fijo, y se guarda la fila original para poder volver a ella. El error contrario también existe: fusionar dos cosas distintas porque se parecen une lo que no está unido, y ese error es más difícil de ver después.

Las reglas de la casa son seis. Algunas convierten dos escrituras en una sola (minúsculas, punto final, neutralización, ceros a la izquierda); otras impiden fusionar cosas que no son iguales aunque compartan texto, como una dirección web completa y el dominio que la aloja. Se aplican todas antes de contar.

Consulta SELECT * FROM importado y SELECT * FROM reglas_de_normalizacion. Aplica las reglas fila por fila, agrupa lo que queda igual y cuenta los grupos de cualquier tipo.

Los dominios de una campaña de suplantación se parecen entre sí a propósito, y también se parecen a los de la víctima. Una letra de menos o un guion de más es otro dominio, con otro dueño posible y otra historia. Ninguna regla de normalización quita letras: si después de aplicarlas dos valores siguen siendo distintos, son dos nodos. Si se sospecha que tienen relación, se demuestra con una arista y su fuente, no con una fusión.

Con las organizaciones pasa lo mismo que con los dominios, al revés: dos asociadas pueden llamarse igual y ser distintas, y una misma asociada puede aparecer con tres nombres. Por eso las víctimas se unen por un identificador estable (aquí, el código que asigna la Mesa) y nunca por el nombre. Fusionar por nombre no solo junta dos víctimas: le atribuye a una los ataques de la otra.

Consulta SELECT * FROM victimas_reportadas.

No todo se resuelve con una regla. A veces dos nodos son probablemente la misma cosa, pero no hay un identificador que lo pruebe: dos remitentes con el mismo nombre visible y dominios distintos, o una asociada que una fuente nombra solo por su ciudad. Fusionar en ese caso borra la duda del grafo, y la duda era información.