Cómo combinar capas

Una pila de guardrails se ordena por costo y por lo que cubre cada pieza. Primero van las comprobaciones deterministas y baratas (longitud, caracteres invisibles), que descartan lo obvio por casi nada. Después, los escáneres y clasificadores que estiman, en paralelo cuando no dependen entre sí. El revisor que llama a un modelo de lenguaje, que es la capa más cara, se reserva para los mensajes donde el riesgo lo justifica, por ejemplo los que piden una acción.

Y hay algo que ninguna capa de texto sustituye: los límites y confirmaciones en el servidor de las herramientas. Una pila bien combinada reduce cuántos ataques llegan al modelo; los límites acotan lo que pasa con los que llegan igual.

Abre las propuestas y los resultados del conjunto. Los requisitos de producto están al final de las propuestas: uno de latencia y otro de falsos positivos sobre las entradas legítimas. Una propuesta solo sirve si cumple los dos; la que detiene más ataques no gana si rompe uno.

Elegir una pila no termina en elegirla: hay que saber qué deja pasar, porque eso es lo que tiene que cubrir otra cosa. Calcula cuántos ataques del conjunto no detuvo la propuesta de la tarea anterior.

No todos los escapados pesan igual. La mayoría terminan en una respuesta fuera de política sin ninguna acción: es un fallo, pero acotado. El que importa es el que llegó a ejecutar una herramienta con efecto, y suele entrar por una vía que no es el chat: un texto que el asistente leyó como dato, por ejemplo el resultado de otra herramienta.

El caso de la tarea 4 entró por un texto que escribe un tercero y acabó en una herramienta que, según la tabla de herramientas, no tiene límite ni confirmación. Se puede añadir un riel sobre los resultados de las herramientas, y ayuda; pero el cierre que no depende de detectar el texto está en el servidor: confirmar con el comprador cualquier cambio de dirección por un canal que el asistente no controla.