Confabulación, privacidad y seguridad de la información

El perfil define la confabulación como contenido falso o erróneo presentado con seguridad, e incluye las salidas que se apartan de lo que el sistema recibió y las citas o razonamientos inventados para justificarlas. La privacidad de los datos cubre la fuga, el uso o la divulgación no autorizados de datos personales o sensibles, y también lo que el modelo infiere sobre una persona. La seguridad de la información tiene dos caras: el modelo puede rebajar la barrera para atacar a otros, y el propio sistema es una superficie de ataque, por ejemplo por inyección de instrucciones directa o indirecta o por envenenamiento de datos.

La diferencia importa porque cada categoría lleva a acciones distintas del perfil. Un dato verdadero entregado a quien no debía no es una confabulación, aunque el resultado también sea un problema.

Una de las acciones del perfil para la confabulación pide revisar y verificar las fuentes y las citas de las salidas, antes de desplegar y durante el monitoreo. En la práctica eso es un muestreo: tomar resúmenes, abrir el expediente del que salen y cotejar dato por dato. Una fila cuenta como fallo si el resumen afirma algo que el expediente no respalda, sea un dato distinto, un dato que no existe o una cita a un lugar del documento que no lo dice.

La auditoría de Cidrón tomó una muestra pequeña de septiembre. Calcula la tasa con ella.

Cuando un asistente recupera documentos para responder, lo que puede llegar al usuario es todo lo que el buscador alcance. Si la colección mezcla datos de muchas personas y la recuperación no filtra por quién pregunta, el modelo puede citar con toda exactitud un expediente ajeno. Para el perfil eso es privacidad de los datos, y una de sus acciones pide detectar datos personales o sensibles en las salidas.

El detector de Cidrón revisa las respuestas después de enviarlas, así que avisa pero no evita. Busca en su registro la respuesta que expuso a una persona ante otra.

La inyección indirecta no la escribe quien conversa con el asistente: llega dentro de un contenido que el sistema recupera, como un documento subido por un usuario, y el modelo la trata como si fuera una instrucción. El perfil la sitúa dentro de la seguridad de la información. En la evidencia se reconoce por la secuencia: el sistema recupera un contenido de origen externo y, justo después, intenta una acción que nadie pidió.

En Cidrón el intento no llegó a nada porque la herramienta de correo solo admite el dominio de la empresa. Busca qué lo provocó; el contenido del documento está en cuarentena y no se reproduce.

La fuga de un expediente y el documento con órdenes escondidas son hallazgos de categorías distintas del perfil, pero en Cedrillo comparten un origen de diseño. Encontrarlo evita poner dos parches donde hace falta una sola corrección de arquitectura. Lee la configuración del RAG.