Validar con un conjunto de prueba

Un conjunto de prueba para un detector es un grupo de textos en los que personas marcaron a mano cada dato personal, con su tipo y su posición. Para que sirva, tiene que cumplir tres cosas. Ser representativo: los formatos, idiomas y maneras de escribir que llegan de verdad. Estar bien etiquetado: dos personas que marquen por separado y alguien que resuelva sus diferencias. Y estar separado del lote con que se ajustaron los umbrales y las listas, porque si un mensaje sirvió para ajustar, el detector ya está hecho a su medida y el resultado sale mejor de lo que será en producción.

Hay una cuarta condición que en seguridad de datos no se negocia: el conjunto no debería estar hecho con conversaciones reales de clientes. Se escriben mensajes sintéticos que imitan los reales.

«Detecta más en total» es un promedio, y un promedio puede subir mientras un tipo concreto empeora. Una regresión es justo eso: algo que funcionaba y deja de funcionar con el cambio. Se busca comparando tipo por tipo, no la suma.

El tamaño de la regresión importa para decidir. Calcula la cobertura de ese tipo en la versión candidata, con dos decimales, y busca en la lista de cambios qué la provocó.

Cuando los mismos mensajes sirven para ajustar y para medir, la medida se infla en una cantidad que no se conoce. Lo primero es saber cuántos son, porque decide si basta con quitarlos o si hay que rehacer el conjunto entero.

Con la regresión, la contaminación y los formatos que faltan delante, toca decidir qué pasa el lunes.