Filtros de contenido y registro de uso

Un filtro de contenido clasifica el texto de entrada o de salida por categorías (por ejemplo, odio, autolesión, datos personales o intentos de dar órdenes al modelo) y, según un umbral, lo deja pasar, lo bloquea o lo registra. Los servicios de las nubes lo ofrecen como una capa configurable delante del modelo, y los nombres de los campos varían: aquí están simplificados.

Es una capa, no una garantía: clasifica con errores en los dos sentidos (deja pasar lo que debía bloquear y bloquea lo legítimo) y solo actúa sobre las categorías y los sentidos para los que se configuró. Por eso se combina con otros controles y se revisa con evidencia.

Abre SELECT * FROM config_filtros. Cada categoría tiene una acción para lo que entra y otra para lo que sale. Una acción de entrada «registrar» y una de salida «ninguna» significa que el filtro anota que el usuario escribió datos personales, pero no hace nada si el modelo los repite en su respuesta. En un asistente de reclamos, que maneja datos de clientes, la salida es justo donde importa.

Registrar el uso es necesario para investigar y auditar, pero registrar el contenido completo de cada petición y respuesta significa guardar lo que los clientes escribieron: nombres, números de póliza, relatos de siniestros. Un registro así hereda la sensibilidad de lo que contiene. La pregunta de diseño es qué se necesita guardar (casi siempre metadatos: quién, cuándo, qué endpoint, cuántos tokens) y por cuánto tiempo.

Abre SELECT * FROM config_registro y fíjate en cuántos días conserva sus datos el destino que guarda el contenido completo.

El registro de invocaciones permite ver patrones que una sola petición no muestra. Un filtro que bloquea tres veces seguidas la misma identidad en un minuto no cuenta la misma historia que uno que bloquea una vez a cada uno de tres usuarios: lo primero puede ser un error de integración o alguien probando los límites, y lo segundo, el ruido normal. El registro no dice cuál de las dos; dice dónde preguntar.

El destino con el contenido completo lo lee un equipo de ciencia de datos y soporte, y lo conserva diez años. El registro de seguridad solo guarda metadatos y los conserva un año. Hay una necesidad real de analizar conversaciones para mejorar el asistente, y hay una obligación de no acumular datos de clientes sin motivo.