Fuentes no confiables y filtrado en la ingesta

La ingesta puede incluir un detector que marca textos con forma de instrucción dirigida a un asistente. Sirve y conviene tenerlo, pero se diseña sabiendo que falla en los dos sentidos: deja pasar redacciones que no reconoce y marca documentos legítimos. Por eso la confianza de una fuente no se decide solo por el detector: se decide por quién puede escribir en ella y por si una persona revisó lo que entró.

El diseño por capas es el que resiste: etiquetar cada fuente con su nivel de confianza, mandar a cuarentena lo marcado y lo no revisado de fuentes externas, y que lo externo, aun indexado, nunca tenga poder de acción en el asistente.

El registro de ingesta resume el destino de cada documento: de qué fuente vino, qué confianza tiene esa fuente, si hubo revisión, qué dijo el detector y en qué estado quedó. Un documento marcado por el detector debería estar en cuarentena hasta que una persona lo revise. Si está indexado, el control se saltó.

Abre registro-de-ingesta.csv y busca el documento que el detector marcó como orden-en-documento y que, sin embargo, está en estado indexado.

Un documento de una fuente externa no debería estar indexado sin que una persona haya aprobado su revisión. El indicador que mide la brecha es la proporción: entre los documentos de confianza externa que están indexados, qué parte no tiene la revisión aprobada. Los que están en cuarentena no cuentan, porque no son recuperables.

Con el registro de ingesta, calcula ese porcentaje.

Cuando se arma el contexto, el modelo recibe los fragmentos como texto sin más. Si el contexto no indica la fuente y su confianza, el modelo no puede tratar distinto lo que escribió la empresa y lo que subió un tercero, y quien audita después no puede reconstruir qué influyó. Marcar el origen de cada fragmento y delimitarlo como dato no convierte al modelo en inmune, pero hace posible aplicar reglas distintas a lo externo y deja la huella para investigar.

El archivo de ensamblado de contexto tiene un campo para esa marca de origen. Léelo.

El documento marcado ya está indexado y puede haberse recuperado en consultas de la semana. La respuesta ordenada tiene tres pasos: moverlo a cuarentena para que deje de ser recuperable, mandarlo a revisión humana y revisar en el registro de recuperación qué consultas lo trajeron al contexto. Borrarlo sin más destruye la evidencia y no responde a la pregunta de a quién llegó.

La decisión de borrar, si procede, la toma la persona que revisa, con el registro delante.