Capas de defensa de un asistente

Un guardrail es un control con una función acotada: mira un tipo de entrada o de salida, o fija un límite, y decide dejar pasar, bloquear o cambiar. Hay de varias clases: listas de términos, clasificadores que estiman la intención de un mensaje, validadores de formato, filtros que buscan datos sensibles en la respuesta y límites sobre lo que una herramienta puede hacer.

Lo que ninguno promete es cubrir todo el problema. El modelo sigue siendo el mismo, con la misma debilidad de fondo: no separa el dato de la instrucción. Un guardrail reduce la cantidad de casos que llegan a esa debilidad o la gravedad de lo que ocurre si llegan, y como cada uno falla en casos distintos, la defensa se arma con varios, en capas.

Abre la arquitectura y el registro de incidentes. Radal tiene cinco capas, y cada incidente anota cuál actuó y con qué resultado. La columna que importa es la de la capa: un incidente donde actuó una capa muestra una defensa funcionando; uno donde no actuó ninguna muestra el hueco, y ahí es donde se aprende algo.

Busca el incidente donde el registro anota que no actuó ninguna capa.

El filtro de entrada es la capa más visible, pero no es la única. Cuenta en el registro los incidentes que detuvo una capa distinta del filtro de entrada. Ignora el incidente que no detuvo nadie: no cuenta como detenido.

Esta cuenta responde a una pregunta práctica: si mañana se quitara el filtro de entrada, cuántos de estos casos seguirían detenidos.

Dos de los incidentes los detuvo una capa que no depende de entender el mensaje: el máximo diario de disputas y la aprobación humana de una devolución. Esas capas no leen la intención de nadie. Actúan sobre lo que se pide hacer, sea cual sea el texto que lo pidió, y por eso siguen funcionando aunque el mensaje venga redactado de una forma que ningún filtro previó.

Es la razón por la que, en la arquitectura de Radal, los límites sobre acciones pesan más que los filtros sobre palabras.