Superficie de riesgo de un sistema con IA

En una aplicación clásica, el código separa las órdenes de los datos: una consulta es una cosa y el texto que guarda un cliente es otra. En un sistema con modelo de lenguaje esa frontera se borra. El orquestador junta en una sola petición las instrucciones del sistema, la pregunta, los fragmentos de documentos que recuperó y el resultado de las herramientas, y el modelo lo lee todo como texto. Cualquier texto que llegue a esa petición puede comportarse como una instrucción.

Por eso la superficie de riesgo de un asistente no es solo su pantalla de chat: es todo lo que el modelo lee y todo lo que el modelo puede hacer. Un inventario útil lista las piezas, los flujos entre ellas, quién escribe cada contenido y qué acciones puede desencadenar el modelo.

Abre la consola y ejecuta SELECT * FROM componentes y SELECT * FROM flujos. Un índice de documentos parece interno porque lo opera TI, pero lo que importa es quién escribió cada documento que entra en él. Un manual redactado por la propia aseguradora y un correo que mandó alguien de fuera terminan en el mismo índice y llegan al modelo por el mismo camino.

Ejecuta SELECT * FROM herramientas. Leer es una cosa; actuar es otra. Una herramienta que solo lee dentro de la empresa limita el daño a lo que se muestre en pantalla. Una herramienta con efecto fuera de la empresa convierte una respuesta equivocada, o manipulada, en un hecho que ya no se puede deshacer. La aprobación humana es la barrera que separa una cosa de la otra.

Una frontera de confianza aparece cada vez que el contenido pasa de un dueño a otro: de la aseguradora al proveedor del modelo, de fuera hacia dentro, del proveedor de vuelta. Cada frontera es un sitio donde hace falta un control, aunque sea solo un registro.

Con lo que leíste, la gerencia pregunta por dónde empezar. El riesgo de un asistente no está en una pieza aislada sino en una combinación: un contenido que alguien de fuera puede escribir y que el modelo lee, más una acción que el modelo puede ejecutar sola hacia fuera.