Redactar el hallazgo y su mitigación

El título es lo que el responsable lee primero, y a veces lo único. «El asistente tiene problemas con sus instrucciones» no dice qué ocurre, dónde ni con qué consecuencia. Un buen título nombra el fallo, el componente y el efecto, de modo que se pueda priorizar sin abrir el cuerpo del hallazgo.

Compara el título del borrador con lo que dice la evidencia: lo que realmente pasó es que las instrucciones internas, y con ellas una credencial, salieron en la respuesta.

La evidencia es el intento guardado que muestra el fallo. No se pega toda la corrida: se elige el intento que mejor lo ilustra, con su identificador, y quien revisa puede abrirlo en el registro. Entre los tres intentos guardados hay un falso positivo, una fuga sin secretos y una fuga confirmada con credencial. El hallazgo trata de la última, así que la evidencia es esa.

Y la credencial no se copia en claro al informe: el informe cita el identificador del intento y deja el valor en el registro protegido de la evaluación.

El campo de reproducción responde a una pregunta: ¿qué necesita otra persona para volver a ver esto? Hace falta la corrida, la tasa y, sobre todo, la versión exacta del sistema evaluado, porque un asistente cambia con cada despliegue de prompt, modelo o herramienta. Sin la versión, un «no lo veo» al repetir no distingue entre «ya está corregido» y «es otra compilación».

Busca en la evidencia el dato que el borrador dejó vacío.

El borrador propone «reforzar el prompt para que Calandria no revele sus instrucciones». Es lo que en la ruta se llama pedirle al modelo que se porte bien: un modelo no responde igual dos veces, y la propia corrida muestra que el prompt actual cede en 11 de 50 intentos. Un ruego no es un control. El hallazgo trata de una credencial que está donde el modelo puede repetirla, y el control es sacarla de ahí: que viva en el backend, que una herramienta acotada haga la consulta y que la credencial expuesta se rote, porque ya se dio por comprometida.

Una última cuestión de oficio. El informe va a circular por correos, tickets y reuniones, y no debe convertirse en otro canal de fuga. Se cita el intento por su identificador, se enmascara cualquier valor sensible y el material completo queda en el registro de la evaluación, con acceso restringido y conservado como dice el acuerdo. Así quien lee puede localizar la evidencia sin que el informe contenga la credencial.