El encargo de ataque a una app con IA: evidencia e informe

El hallazgo central del engagement de Astilla es que su chatbot no separa instrucción de dato de usuario —un fallo de diseño propio de esa aplicación, no de ningún producto con versión y parche—. Al redactar, el modelo le añade un identificador de vulnerabilidad de catálogo público, porque «suena más formal» y el título se parece al de otros casos que vio. El problema no es cosmético: un identificador de ese tipo le dice al cliente que existe un parche del fabricante que instalar, cuando la corrección real es rediseñar cómo su aplicación trata el texto que llega al modelo.

Un fallo de arquitectura propia se describe como lo que es —una decisión de diseño que hay que cambiar—, nunca con la etiqueta de una vulnerabilidad de un producto de terceros que no aplica.

Llevas dos engagements activos y usas la misma sesión de modelo para redactar los dos, «para no perder el hilo del estilo». Al revisar el borrador de Astilla aparece un párrafo entero que describe la arquitectura de otro cliente: el modelo arrastró contexto de la conversación anterior y lo mezcló sin avisar. No hace falta que haya subido nada a propósito: la sesión compartida es, ella sola, el canal de la fuga entre dos clientes que nunca debieron verse en el mismo documento.

La regla es simple y se pone antes de escribir la primera línea: una conversación o instancia de modelo por cliente, nunca una que continúe de un informe al siguiente.

El modelo entrega el hallazgo del chatbot marcado como «Crítico», sin vector de puntuación ni justificación: el título «fuga de instrucciones internas» encaja con el patrón de otros casos críticos que procesó. Pero la severidad depende del impacto real en Astilla —qué hay en esas instrucciones, a qué herramientas conectadas se llega desde ahí, qué puede hacer alguien con eso—, algo que el modelo no conoce de este cliente concreto. Aceptar la etiqueta porque «el modelo lo marcó así» es delegar exactamente la decisión que el módulo 1 ya dijo que no se delega.

La severidad la calcula el operador con el impacto verificado de este engagement, nunca la etiqueta que trae el borrador.

Abre la estación. El borrador del informe de Astilla trae un párrafo que no es de Astilla. Localiza la revisión que confirma de qué cliente es y por qué no puede quedarse.