Salida del modelo tratada como entrada no confiable

El texto que responde un modelo depende de todo lo que entró en su contexto: el mensaje del cliente, las reseñas recuperadas, el historial. Si alguno de esos textos traía algo malicioso, la respuesta puede traerlo de vuelta. Por eso la salida del modelo se trata como cualquier dato que llega de fuera: se escapa antes de pintarla en una página, se pasa como parámetro antes de meterla en una consulta y se valida antes de usarla como enlace, ruta o comando. OWASP lo recoge como manejo inadecuado de la salida, y los fallos que produce son los de siempre: XSS, inyección SQL, redirecciones a sitios ajenos.

Pedirle al modelo en el prompt que solo use cierto formato no es un control: es una preferencia que el modelo suele cumplir y que un texto bien colocado en el contexto puede hacerle olvidar.

Abre el laboratorio y lee widget-lia.js. Hay tres funciones que añaden algo a la conversación. Dos asignan el texto de forma que el navegador lo muestra como texto. La tercera convierte la respuesta del modelo a HTML con una librería que, según el comentario del propio archivo, deja pasar tal cual el HTML que venga dentro, y lo inserta como HTML en la página de la tienda, con la sesión del cliente abierta.

La herramienta de búsqueda recibe del modelo un filtro en JSON y lo convierte en SQL en buscador.py. Tres de sus campos entran a la consulta como parámetros, que la base trata siempre como datos. Uno se pega con comillas dentro del texto de la consulta. Ese campo lo escribe el modelo, y el modelo lo escribe a partir de lo que le pidió el cliente: es una inyección SQL de segunda mano.

enlaces-permitidos.txt dice en su primera línea quién comprueba esa lista. Lee registro-respuestas.txt y busca la respuesta que llevó al cliente a un dominio que no es de la tienda. Fíjate también en su conversación: ya la viste en la sala anterior.

Los tres hallazgos tienen el mismo origen —confiar en la salida porque «el modelo es nuestro»— y se corrigen igual que si el dato viniera de un formulario. Lo que no se corrige es el modelo: se corrige el código que usa lo que el modelo devuelve.