Calidad de datos, desconfiar con método

Los defectos de un dato se agrupan en unas pocas dimensiones. La completitud pregunta si están todos los campos obligatorios. La validez, si cada valor es posible: una fecha real, una puntuación dentro de su escala. La unicidad, si algo se repite que no debería. La consistencia, si dos campos se contradicen, como un hallazgo cerrado sin fecha de cierre. La vigencia, si el dato es lo bastante reciente para fiarse de él.

Nombrar la dimensión sirve para decidir qué hacer: un dato inválido se devuelve al origen; uno incompleto, a quien debe completarlo.

Las reglas escritas permiten revisar sin criterio personal. Abre reglas.txt y export-con-defectos.csv. La regla de validez de la puntuación es mecánica: lo que no cae en el intervalo se aparta, sin discutir si «parece razonable».

Una puntuación fuera de escala puede venir de un error de transcripción, de un decimal movido o de otra escala. No se corrige a ojo: se devuelve a quien exportó.

Un campo vacío es un dato ausente. Pero no todo vacío es un defecto: cierre está en blanco en todo hallazgo abierto y es lo correcto. Primero se miran las reglas para saber qué campos son obligatorios en cada fila, y solo entonces se cuentan los vacíos de esos campos.

El campo con más vacíos suele señalar un proceso roto, no una fila mala: si ese campo falta tantas veces, probablemente el inventario del que sale no está completo.

La vigencia pide una fecha de corte. Con la regla de la carpeta y la fecha de hoy se obtiene una fecha límite; los hallazgos abiertos más antiguos que ella no se descartan, se confirman con el origen: pudieron cerrarse sin que la exportación lo supiera. Las filas con fecha inválida no se pueden evaluar y no se cuentan aquí.

Calcula la fecha límite restando 30 días a la de hoy, la que da reglas.txt, y cuenta las filas abiertas con fecha válida anterior a ese límite.

Hay tres reacciones posibles ante una fila con defectos: corregirla en silencio, borrarla o apartarla con constancia. Las dos primeras destruyen la trazabilidad: nadie sabrá después qué se tocó y con qué criterio, y el defecto seguirá naciendo en el origen.

Lo defendible es apartar la fila, anotar el defecto y la regla que incumple en un registro de calidad, y devolverla a quien la produce con la petición de corregirla. El resumen se publica diciendo cuántas filas se apartaron.