LLM07 y LLM08: el prompt de sistema y los vectores

La filtración del prompt de sistema (LLM07) se lee mal con frecuencia. El riesgo no es que alguien llegue a ver el texto de las instrucciones: hay que diseñar dando por hecho que se puede leer, o al menos deducir conversando con el asistente. El riesgo está en lo que ese texto contiene o en lo que se le confía: credenciales, datos internos que ayudan a un atacante, o decisiones de autorización que deberían tomarse en otro sitio.

Por eso una regla que pide al modelo no revelar sus instrucciones no cierra esta entrada. A lo sumo hace más lento leerlas; no saca la credencial de ahí ni mueve la autorización a un sistema que la aplique siempre.

Abre el extracto del prompt de sistema de Murta. Tiene varias reglas inocuas, una credencial (escrita como marcador) y un dato interno que no debería estar ahí. Pero hay una regla más grave que las demás: entrega al modelo una decisión de autorización basada en lo que el usuario dice de sí mismo. Si esa regla se cumple, basta con afirmar un rol para obtener lo que ese rol puede ver.

Las debilidades de vectores y embeddings (LLM08) cubren los fallos del índice de recuperación: que la búsqueda devuelva fragmentos que quien pregunta no debería ver, que se mezclen documentos de dueños distintos sin separación, o que entre al índice contenido no revisado que luego llega al contexto. Se revisan con la tabla de colecciones: qué contiene cada una, quién la alimenta y qué filtro se aplica al buscar, con la identidad de la sesión y no con lo que diga el modelo.

Una colección sin filtro es un hallazgo de diseño; el registro de recuperación dice si ya tuvo efecto. Busca la consulta de un asegurado que recibió fragmentos de esa colección.

Estas dos entradas casi nunca van solas. Una credencial en el prompt es, a la vez, información sensible al alcance del modelo (LLM02). Un índice que mezcla colecciones o acepta documentos de terceros es también una vía de entrada para órdenes escondidas (LLM01) y una vía de salida para datos que no tocaban (LLM02). Por eso el mismo control aparece varias veces en una revisión bien hecha: autorizar fuera del modelo, con la identidad de la sesión.