LLM05 y LLM06: manejo de la salida y agencia excesiva

El manejo inadecuado de la salida (LLM05) ocurre cuando la respuesta del modelo pasa a otro sistema sin el tratamiento que se le daría a un texto escrito por un desconocido: se inserta en una página sin codificar, se pega dentro de una consulta, se usa como ruta de archivo o como orden. Como el contenido de la respuesta puede estar influido por cualquier texto que entró al contexto, quien consume la salida debe tratarla igual que una entrada de usuario.

La revisión se hace destino por destino: adónde va la salida, cómo se usa allí y qué validación o codificación se aplica antes. No se pregunta si el modelo suele responder bien, sino qué pasa el día que no.

Abre la tabla de destinos de la salida de Murta. Cuatro destinos aplican algún tratamiento antes de usar la respuesta, o la guardan sin interpretarla. Uno la inserta en una página que abren los agentes de Petrillo tal como llega, y ahí cualquier marca que lleve la respuesta se interpretaría en el navegador de un empleado.

La agencia excesiva (LLM06) aparece cuando el sistema puede hacer más de lo que su función necesita. Se revisa por tres causas distintas, cada una con su arreglo: funcionalidad de más (herramientas que el caso de uso no requiere), permisos de más (herramientas que se ejecutan con una cuenta capaz de mucho más que su tarea) y autonomía de más (acciones de impacto que se ejecutan sin que una persona las apruebe).

Abre el inventario de herramientas. Empieza por la primera causa: busca la herramienta que está conectada aunque el caso de uso no la pide.

Sigue con la segunda causa. Una herramienta de lectura debería ejecutarse con una cuenta de lectura. Si la cuenta puede escribir en todas las tablas, el límite real no lo pone la herramienta, lo pone la cuenta, y cualquier fallo en cómo se arma la llamada hereda ese permiso.

Queda la tercera causa. En el inventario hay una herramienta que mueve dinero, sin límite y sin aprobación de nadie. Ahí se ve cómo se encadenan las entradas de la lista: una inyección (LLM01) o una respuesta equivocada solo se vuelven un pago indebido si existe una herramienta con esa autonomía. Cerrar la agencia excesiva no detiene la inyección, pero le quita casi todo su efecto.