Normalizar y deduplicar indicadores

Antes de comparar valores de fuentes distintas hay que llevarlos a una forma canónica. Pero cada tipo de indicador tiene sus reglas. Los nombres de dominio no distinguen mayúsculas de minúsculas, y el punto final de un nombre completo (ejemplo.example.) no cambia el nombre. En una URL, el esquema y el nombre del servidor tampoco distinguen mayúsculas; la ruta, en cambio, sí puede distinguirlas: depende del servidor, y /Ingreso y /ingreso pueden ser recursos distintos.

Normalizar de más es tan malo como no normalizar: si dos indicadores distintos se funden en uno, la lista pierde uno sin que nadie lo note.

Abre normaliza.py y lee las líneas 8 a 18.

Una dirección IPv6 se puede escribir de muchas formas: con ceros a la izquierda o sin ellos, con los grupos de ceros completos o comprimidos con ::, en mayúsculas o en minúsculas. Comparar el texto tal cual hace que la misma dirección cuente como dos. Por eso el guion no toca las direcciones con reemplazos de texto: la línea 11 las pasa por el módulo ipaddress de la biblioteca estándar, que las valida (lanza ValueError si el texto no es una dirección) y las devuelve en su forma canónica.

Lee fuente-mesa.csv y fuente-proveedor.json, y después normalizados.csv, cuya columna fuentes dice de dónde salió cada valor.

Quien comparte indicadores por correo los «desactiva» para que nadie haga clic por accidente: hxxp en lugar de http, [.] en lugar del punto. No hay una sola convención: también circulan [dot], (.) o [:]. Un guion que reactiva valores tiene que saber cuáles acepta y, sobre todo, avisar de lo que no pudo reactivar, porque un dominio con corchetes no coincide nunca con nada.

La función refang de la línea 5 conoce dos convenciones. Lee correo-socio.csv y comprueba cómo llegó cada valor a la salida.

El registro dice cuántas entradas leyó el guion y cuántos valores únicos dejó. Ese segundo número es el que el SOC usa para planear la carga, y es el que cambia cuando la normalización junta de más. La línea 15 trata la URL entera como si fuera un dominio.

Supón que se corrige solo esa línea: el esquema y el servidor pasan a minúsculas y la ruta queda como vino. Las tres fuentes no cambian, y nada más del guion cambia.