Qué registrar en una aplicación con modelo

Una aplicación con modelo no es determinista: el mismo texto puede dar respuestas distintas, y cambia cuando cambia el modelo, las instrucciones de sistema o los datos que se le entregan. Por eso un registro útil no se limita a guardar «qué se dijo». Guarda lo que permite reconstruir la petición: quién la hizo (con un seudónimo), cuándo, qué versión del modelo y de las instrucciones respondió, qué herramientas se llamaron y con qué resultado, cuántos tokens y cuánto costó, y qué decidieron los filtros de entrada y salida.

La regla práctica es guardar decisiones y metadatos con generosidad, y texto con cuidado. Los metadatos casi nunca son sensibles y permiten medir, alertar y atribuir; el texto completo de la conversación sí puede serlo, y de eso se ocupa la sala siguiente.

Cuando un equipo cambia de modelo o el proveedor actualiza el que usa, el comportamiento puede cambiar de un día para otro. Si el registro no dice con qué modelo se respondió cada petición, no se puede comparar antes con después ni saber si un fallo empezó con un cambio. Es el campo que más se echa de menos cuando hace falta una reversión.

Consulta el esquema de lo que registra Chincol y localiza el campo que sirve para saber qué modelo contestó y que hoy no se guarda.

Registrar las herramientas que se llamaron, con sus parámetros resumidos, es lo que separa «el asistente dijo algo raro» de «el asistente hizo algo». Las herramientas con efecto —las que emiten, envían o modifican algo— son las que más importa localizar en un registro, porque una petición que solo conversa se corrige con una disculpa y una que actúa puede exigir una reversión.

Consulta la muestra de peticiones y localiza la que llamó a la herramienta que genera la constancia de curso terminado.

El costo de cada petición es un dato de seguridad, no solo de finanzas: permite detectar un consumo anómalo y atribuirlo a quien lo causó. Para eso el costo se guarda por petición, junto al seudónimo del usuario, y se suma cuando hace falta. Un registro que solo guarda el total del mes no sirve para investigar nada.

Suma el costo, en pesos, de todas las peticiones de la muestra que hizo el usuario u-0412.

Un filtro que bloquea y no deja huella es invisible. Registrar que una petición fue bloqueada, y por qué regla, permite contar cuántas veces actúa cada regla, detectar una regla que bloquea a quien no debería y ver si alguien insiste contra la misma defensa. Sin esa constancia, el equipo no sabe si sus filtros funcionan ni si molestan.

Consulta la muestra y anota la regla del filtro que bloqueó la única petición bloqueada.