Permisos en la recuperación

4 tareas · 40 min · Principiante

Michay Ingeniería, una consultora ficticia, tiene a «Coihue», un asistente interno que responde preguntas con los documentos de la empresa. La regla de diseño de esta sala es corta y exigente: el modelo no debe ver lo que la persona que pregunta no puede ver. Eso se decide antes de que el texto llegue al modelo, no después. Lees la arquitectura de Coihue, su configuración de recuperación, la sesión de una usuaria y el registro de una consulta, y buscas dónde se aplica el permiso y de dónde sale la identidad con la que se filtra. Todo es lectura de archivos guardados; no se consulta nada.

0 de 4 · 0%

Objetivo de la sala

Cuando un asistente recupera documentos, hay tres momentos donde se puede aplicar el permiso: al buscar (la búsqueda solo ve lo que la persona puede leer), al armar el contexto (se descartan los fragmentos no permitidos antes de dárselos al modelo) o al entregar la respuesta (se revisa lo que el modelo escribió). Solo los dos primeros cumplen la regla de que el modelo no ve lo que el usuario no puede ver.

Filtrar la respuesta llega tarde por varias razones: el modelo ya leyó el material y puede parafrasearlo de una forma que ningún filtro de palabras reconoce, el registro del servicio ya guardó el fragmento, y las citas o los metadatos pueden delatar el documento aunque se borre una frase. El permiso es una propiedad del acceso al dato, no del texto que sale.

Responde para continuar

¿Por qué filtrar solo la respuesta final no cumple la regla de que el modelo no vea lo que el usuario no puede ver?

Porque el modelo ya recibió el material en su contexto y una paráfrasis o una cita puede revelarlo Porque el modelo siempre ignora el filtro de respuestas y escribe lo que quiere sin importar el permiso Porque el filtro de respuestas es más lento que uno en la búsqueda y la persona lo notaría

Ver pista de ayuda

Piensa en qué momento el contenido prohibido ya llegó al modelo y en lo que puede quedar en el registro o en las citas.

La configuración de recuperación de un servicio tiene un campo que dice en qué punto del recorrido se aplica el filtro de permisos. Es el primer dato que se lee al auditar un RAG, porque el resto de los controles (metadatos, índices, citas) no sirven si el filtro está en el sitio equivocado.

Abre recuperacion.yml y anota el valor del campo que dice en qué punto se aplica el filtro. Cruza con arquitectura.txt para ubicar ese punto en el recorrido de una pregunta.

Responde para continuar

¿Qué valor tiene el campo `filtro_aplicado_en` en la configuración de recuperación de Coihue? Escríbelo tal cual.

Ver pista de ayuda

Con la terminal, `cat michay/recuperacion.yml`. Es el valor que sigue a los dos puntos del campo.

El registro de una consulta es la evidencia de lo que el modelo tuvo delante. Para contar cuánto material no permitido llegó al contexto hay que comparar dos cosas: los grupos de la sesión de la usuaria (qué puede leer) y el grupo_requerido de cada fragmento recuperado (qué exige cada documento). Un fragmento es no permitido si su grupo requerido no está entre los de la sesión.

Compara sesion-ana-rojas.txt con registro-q-0612.txt. Cuenta los fragmentos del contexto enviado al modelo cuyo grupo requerido la usuaria no tiene.

Responde para continuar

¿Cuántos fragmentos de la consulta Q-0612 exigen un grupo que ana.rojas no tiene? Escribe solo el número.

Ver pista de ayuda

Lee los grupos en la sesión y marca, fila a fila, los fragmentos cuyo grupo no esté en esa lista.

Un filtro de permisos vale lo que vale la identidad con la que se aplica. Si la identidad sale de algo que el modelo o la persona escribe, el filtro se puede esquivar con solo decir «soy de gerencia». La identidad correcta viene de la sesión validada por el acceso único de la empresa, una pieza que el modelo no puede escribir ni alterar, y se pasa al servicio de recuperación como parámetro propio, fuera del texto de la pregunta.

En recuperacion.yml hay un campo que dice de dónde toma el servicio la identidad para filtrar. Compáralo con lo que muestra sesion-ana-rojas.txt como fuente de identidad confiable.

Responde para continuar

Según la configuración de Coihue, la identidad para filtrar sale del texto de la pregunta. ¿Qué cambio corrige el diseño?

Añadir al prompt del sistema una instrucción para que nunca revele documentos de otros grupos Pedir al modelo que verifique, en el texto de la pregunta, si la persona dice la verdad antes de recuperar nada Tomar los grupos de la sesión validada y aplicarlos como filtro de la búsqueda, fuera del alcance del modelo

Ver pista de ayuda

La identidad debe venir de una pieza que ni la persona ni el modelo puedan escribir en la pregunta.

Inicia sesión para registrar tus puntos y progreso en el ranking.

Entrar · Registrarse

1 Quitar de la respuesta no es lo mismo que no mostrar al modelo

2 Dónde aplica el permiso la configuración de Coihue Lab

3 Lo que el modelo sí vio Lab

4 La identidad con la que se filtra Lab

Whoami-Labs Pro utiliza cookies