Escaneo de entradas y salidas

LLM Guard trabaja con escáneres de entrada y de salida. Cada uno revisa una cosa concreta y devuelve tres datos: el texto (saneado, si el escáner lo cambia), si el texto es válido y una puntuación de riesgo. El texto deja de ser válido cuando la puntuación llega al umbral de ese escáner. Algunos escáneres son reglas simples y otros cargan un modelo pequeño, por ejemplo el que estima si un mensaje intenta cambiar las reglas del asistente.

La biblioteca entrega el resultado y nada más: es la aplicación que la llama la que mira la validez y decide si bloquea, sigue con el texto saneado o solo anota. Hay además una opción para detener la revisión en el primer escáner que marque el texto, que ahorra tiempo a cambio de no saber qué habrían dicho los demás.

Abre la configuración del servicio. Cada escáner tiene una acción: bloquear, sanear, registrar o restaurar. «Registrar» deja constancia y deja seguir el mensaje sin cambios; es útil para medir un escáner nuevo, y peligroso si se queda así en uno que debía bloquear.

Cruza la configuración con el registro del 1 de octubre. Busca la solicitud de entrada que un escáner marcó como no válida y que siguió hasta el modelo sin bloquear ni sanear.

La política de escaneo dice qué debe revisarse; la configuración dice qué se revisa. Se comparan línea por línea. Una regla de la política sin escáner que la cumpla es un hueco aunque todo lo demás esté bien configurado.

El LEEME del laboratorio trae la lista de escáneres que ofrece la biblioteca, con sus nombres. Busca la regla de entrada que no tiene escáner en la configuración y encuentra en esa lista el que la cubriría.

En la salida, el escáner de datos sensibles busca datos personales en lo que escribió el modelo y, con la acción de sanear, los quita antes de entregar. Cuántas veces actúa en un día dice mucho del modelo principal: cada vez es una respuesta que iba a llevar un dato que no debía.

Cuenta las salidas del registro en las que ese escáner marcó el texto como no válido. No cuentes las que quedaron por debajo de su umbral, aunque la revisión posterior encontrara algo en ellas.

El escáner de la tarea 2 pasó a registrar por quejas de soporte, y la revisión posterior muestra lo que costó: el asistente resumió sus instrucciones. Las quejas eran reales, pero la respuesta a un escáner que bloquea de más no es dejar de usarlo sin un plazo. Se mide su tasa de falsos positivos con un conjunto etiquetado, se ajusta el umbral o el alcance con esa medida y se vuelve a bloquear.