LLM01 y LLM02: inyección y divulgación, revisadas por diseño

La primera entrada de la lista, la inyección de instrucciones, describe el fallo de fondo que ya conoces: el modelo recibe en el mismo contexto lo que pide el sistema y el texto que procesa, y no tiene una frontera fiable entre ambos. Cualquier texto que llegue al contexto puede contener algo redactado como orden.

En una revisión de diseño no se intenta adivinar qué frase lo rompe. Se hacen tres preguntas que se contestan leyendo la arquitectura: por qué caminos entra texto al contexto y quién escribe cada uno; cuáles de esos caminos se tratan como no confiables y en qué bloque entran; y qué puede hacer el sistema si el modelo obedece una orden que no debía. La tercera pregunta es la que decide la gravedad, y la contestan las entradas que verás en la sala 3.

Abre el inventario de fuentes de contexto de Murta. Cada fila dice quién escribe el texto, en qué bloque entra y si se marca como no confiable. Un texto escrito por alguien de fuera de la empresa puede llegar al contexto; eso es normal y no es por sí mismo un hallazgo. El hallazgo aparece cuando ese texto entra en el bloque que el modelo trata como instrucciones de quien lo opera, sin marcarse como dato.

Busca la fuente escrita por un tercero que entra en el bloque de instrucciones.

La segunda entrada, la divulgación de información sensible, se revisa empezando por una pregunta sencilla: qué datos tiene el modelo a mano en cada caso de uso. Lo que no está en el contexto no puede salir en una respuesta, se pida como se pida. Lo que está, puede salir aunque nadie lo pida.

El archivo de campos describe el caso de uso más común de Murta: un asegurado pregunta por el estado de su siniestro. Cuenta los campos que se envían al modelo aunque no hagan falta para responder. El enmascarado parcial no cambia la cuenta: un campo que no hace falta no debería viajar, ni entero ni a medias.

El registro del piloto recoge la revisión de respuestas de una semana. Uno de los casos muestra que la divulgación no necesita un atacante: el modelo respondió con lo que tenía en el contexto, y en el contexto había un dato que el asegurado no debía conocer.

Busca ese caso y el campo que apareció en la respuesta.

La inyección y la divulgación suelen aparecer juntas en los informes, y conviene saber cómo se enlazan. La inyección es una vía: una forma de que el modelo haga algo que no debía. La divulgación es uno de sus efectos posibles, pero no el único camino hacia él, como acabas de ver en el piloto.

Por eso el control que más rinde contra la divulgación no depende de detener la inyección. Si el contexto solo lleva lo que la tarea necesita, y lo que cada persona puede ver se decide fuera del modelo con su identidad, una orden obedecida o un descuido del modelo tienen poco que sacar.