Detectar la filtración leyendo registros

Una forma barata de detectar que el prompt ha salido es escribir en él una marca de control: una cadena única, sin ningún significado ni valor, que no tiene por qué aparecer nunca en una respuesta normal. Un filtro que revisa cada salida busca esa cadena; si la encuentra, el prompt se está repitiendo. A esta técnica se la suele llamar marca centinela o canario.

Dos detalles importan. La marca no es un secreto, así que no protege nada: solo avisa. Y una respuesta puede llevar el prompt sin la marca, porque el modelo puede resumirlo, traducirlo o reordenarlo. Por eso se combina con una medida de coincidencia entre la respuesta y el prompt, que capta también las versiones transformadas.

La primera búsqueda en las trazas es directa: qué respuestas llevaron la marca. Una coincidencia de la marca es la evidencia más fuerte de filtración, porque no hay ninguna razón legítima para que salga. Fíjate también en qué hizo el detector con esa respuesta, porque los ajustes dicen qué pasa cuando aparece la marca.

Consulta las trazas y localiza la conversación cuya respuesta contenía la marca de control.

Una filtración rara vez llega en un único intento. Quien busca el prompt suele probar varias peticiones parecidas, a poca distancia unas de otras, desde el mismo origen: que repita, que traduzca, que resuma, que cambie de formato. En las trazas eso se ve como un grupo de conversaciones con el mismo origen, pedidos sobre las propias instrucciones y una coincidencia con el prompt que sube y baja.

Mira el origen de las conversaciones que piden algo sobre las instrucciones del asistente y encuentra el que se repite.

Un detector con dos umbrales separa lo que avisa de lo que bloquea. Entre ambos queda una franja en la que la respuesta sale igualmente y solo se anota una alerta. Esa franja es justo donde caen las versiones resumidas o traducidas del prompt, que nunca coinciden al cien por cien.

Lee los ajustes del detector y cuenta las respuestas con una coincidencia igual o superior al umbral de alerta que, aun así, llegaron al cliente.

Si una respuesta llevó el prompt fuera y el prompt contenía una credencial, la credencial se trata como comprometida desde la primera respuesta filtrada, aunque no se vea su uso. Ajustar el detector o bajar los umbrales evita filtraciones futuras, pero no deshace la que ya ocurrió.