Citas, trazabilidad y límites de contexto

Una cita en la respuesta de un RAG apunta a un documento y a una versión. Sirve para dos cosas: que la persona pueda comprobar de dónde sale lo afirmado y que quien audita pueda reconstruir el camino. Pero una cita solo vale si se comprueba contra el registro de recuperación: debe corresponder a un fragmento que de verdad entró en el contexto y que la persona podía leer. Una cita que no está entre lo recuperado es una referencia inventada por el modelo, aunque tenga buen aspecto.

Y aun con una cita válida, lo afirmado puede estar mal resumido: la cita demuestra procedencia, no exactitud.

Comprobar citas es un cruce simple: cada documento citado en la respuesta tiene que aparecer en la tabla de fragmentos recuperados de la misma consulta. El que no aparece no pudo informar la respuesta; o el modelo lo inventó, o lo recordó de otro sitio, y en ambos casos no hay evidencia de que la persona pudiera ver ese documento.

Abre respuesta-q-0877.txt y registro-q-0877.txt y encuentra la cita que no corresponde a ningún fragmento recuperado.

Los límites de contexto son un control de seguridad además de uno de costo. Si un solo documento puede ocupar la mayor parte del contexto, una sola fuente decide la respuesta; si ese documento es externo o está envenenado, su influencia se multiplica. Por eso se miden tres cosas: tokens máximos de fragmentos, máximo por documento y fragmentos repetidos. El peso de cada documento es la suma de los tokens de sus fragmentos entre el total del contexto.

Calcula, con el registro de la consulta, el porcentaje del contexto que ocupó el documento D-120.

El registro de recuperación es la prueba de qué vio el modelo. Para investigar una fuga hay que poder responder tres cosas: quién preguntó, qué fragmentos entraron y qué filtro se aplicó para decidir qué entraba. Si falta la tercera, queda un registro que dice qué pasó pero no si el control funcionó, y no se puede distinguir un filtro mal escrito de un filtro que no se aplicó.

La política de registro de Michay enumera lo que se guarda y lo que no. Léela.

Con los dos archivos de límites y de registro se puede decir qué cambios cierran lo que leíste. Los límites de contexto deben incluir un máximo de tokens por documento, para que una sola fuente no domine; la eliminación de fragmentos repetidos, para no pagar dos veces ni dar doble peso; y la verificación de las citas contra lo recuperado antes de entregar la respuesta. El registro debe guardar el filtro aplicado y conservarse el tiempo que exijan las investigaciones.