Loading
_ DESCIFRANDO CONEXIÓN SEGURA...

Fuga por consultas y por registros

4 tareas · 35 min · Principiante

Aunque el modelo esté bien tratado, quien puede hacerle muchas preguntas aprende algo de él, y lo que la interfaz devuelve —además del texto— puede dar pistas. Un defensor lee la configuración de la API y el registro de uso para ver si el sistema le da demasiado a quien consulta y si alguien ya está aprovechándolo. En esta sala lees la configuración de la API de Cuyén, el registro de un día de consultas y la política de alertas de Coirón Salud. Se razona desde la defensa, con datos de uso ficticios; no se redacta ni se ejecuta ninguna consulta.

0 de 4 · 0%

Objetivo de la sala

Aunque el modelo esté bien tratado, quien puede hacerle muchas preguntas aprende algo de él, y lo que la interfaz devuelve —además del texto— puede dar pistas. Un defensor lee la configuración de la API y el registro de uso para ver si el sistema le da demasiado a quien consulta y si alguien ya está aprovechándolo. En esta sala lees la configuración de la API de Cuyén, el registro de un día de consultas y la política de alertas de Coirón Salud. Se razona desde la defensa, con datos de uso ficticios; no se redacta ni se ejecuta ninguna consulta.

Una API de modelo puede devolver más que texto. Algunas ofrecen, para cada palabra generada, qué probabilidad le asignó el modelo. Es útil para quien construye, pero también es una señal: la literatura sobre ataques de inferencia de pertenencia explica que un modelo suele mostrarse más seguro con textos que vio al entrenarse que con textos que no vio, y esa diferencia puede servir para sospechar si un dato estuvo en el entrenamiento.

Quien defiende no necesita entender el ataque en detalle; necesita preguntarse qué devuelve su API de más y si el usuario lo necesita.

Responde para continuar

¿Por qué puede ser un riesgo de privacidad que una API devuelva las probabilidades de cada palabra generada?

Ver pista de ayuda

Piensa en qué información adicional recibe quien consulta, más allá del texto.

Abre la configuración de la API de Cuyén. Una configuración revisada con ojo de privacidad hace una sola pregunta por línea: ¿esto lo necesita quien consulta? Si la respuesta es no, se apaga. Es el principio de dar solo lo necesario, aplicado a lo que devuelve la interfaz.

Localiza el parámetro que hace que la API devuelva esa señal adicional.

Responde para continuar

Escribe el nombre del parámetro de la configuración que expone las probabilidades asignadas a cada palabra generada.

Ver pista de ayuda

Con la terminal, `cat coiron/configuracion-api.yml`.

El registro de uso de un día resume, por cuenta, cuántas consultas hizo, de qué tipo y cuántas respuestas coincidieron literalmente con material de los lotes de afinado, según un detector que el equipo de Coirón puso a la salida. Una cuenta normal pregunta con contexto de un paciente; una que consulta sin contexto, a gran volumen y con coincidencias, merece una pregunta del equipo, no una conclusión.

Cruza las columnas y localiza la cuenta con más coincidencias.

Responde para continuar

Escribe el identificador de la cuenta con más respuestas que coincidieron con material de los lotes de afinado.

Ver pista de ayuda

Con la terminal, `cat coiron/registro-api.csv`. Compara la última columna.

Mirando la configuración y el registro, las medidas se reparten en tres capas: lo que la interfaz devuelve (cerrar lo que sobra), cuánto se puede preguntar (límites por cuenta y alertas por coincidencia) y lo que se guarda del uso (el registro del día es, él mismo, un dato sensible que lleva retención). Una alerta que avisa a una persona con nombre vale más que un registro que nadie lee.

La política de alertas de Coirón fija un umbral y un contacto. La respuesta correcta combina capas, no apuesta por una sola.

Responde para continuar

¿Qué conjunto de medidas responde mejor a lo que muestra el registro de Cuyén?

Ver pista de ayuda

Combina qué devuelve la interfaz, cuánto se puede preguntar y quién se entera cuando algo se sale del patrón.

Inicia sesión para registrar tus puntos y progreso en el ranking.

Whoami-Labs Pro

Whoami-Labs Pro utiliza cookies

Utilizamos cookies y almacenamiento local para el funcionamiento del sitio, seguridad de sesión y, si lo autorizas, analítica y marketing. Puedes aceptar, rechazar o personalizar. Política de Privacidad