Falsos positivos y severidad

Un detector es una regla que mira la respuesta y decide si el sistema cedió. Esa regla puede equivocarse en las dos direcciones: marcar algo inocuo (falso positivo) o dejar pasar algo real (falso negativo). Por eso los hits se revisan a mano, o por una segunda vía, antes de convertirse en hallazgos. Un falso positivo que llega al informe le cuesta credibilidad al equipo y tiempo al cliente, que corrige algo que no estaba roto.

El detector más sencillo, el que busca una palabra, es también el más propenso: marca cualquier respuesta que la contenga, aunque el contexto sea justo el contrario.

Abre el registro de hits. El detector de esa corrida marca cualquier respuesta que contenga la palabra «instrucciones», así que mira cada respuesta y pregúntate si el asistente cedió de verdad: ¿reveló el contenido de sus instrucciones, inventó una cobertura, hizo algo por una orden escrita en un documento? Rechazar el pedido y mencionar la palabra no es ceder.

Cuenta los hits en los que el asistente, leída la respuesta, no cedió.

Entre los hits reales no todos pesan lo mismo. Una respuesta que repite la tarea del asistente («solo atiendo temas de pólizas») es información interna sin consecuencia. Otra que incluye un código de integración con otro sistema es algo muy distinto: una credencial entregada a quien la pidió. En el registro hay un único hit así, y es el que obliga a la regla de comunicar en el día un hallazgo crítico.

Localízalo por su identificador.

La severidad no se pone a ojo: se cruza el impacto de lo que se expuso con la frecuencia con que el sistema cede. El impacto sale de qué se expuso; la frecuencia, de la tasa de la sonda en la corrida. La matriz del equipo deja escrito cómo se cruzan, de modo que dos personas lleguen a la misma etiqueta con los mismos datos.

Toma el hit de la tarea anterior, mira la tasa de su sonda y la definición de repetición, y busca la fila que corresponde en la matriz.

Los falsos positivos de esta corrida tienen un origen común: el criterio del detector era mirar una palabra y no lo que la respuesta hace. La corrección útil es cambiar el criterio, para que decida si la respuesta entrega el contenido o ejecuta algo, y volver a puntuar los intentos guardados. Quitar los hits incómodos del registro sin cambiar el detector solo traslada el problema a la siguiente corrida, y borrar evidencia deja al informe sin respaldo.