Memorización de datos de entrenamiento

Un modelo se entrena para predecir texto. Casi siempre generaliza: aprende patrones y no copia. Pero con ciertos textos, sobre todo los que aparecen muchas veces o son muy particulares, puede quedarse con la secuencia exacta. La publicación «Extracting Training Data from Large Language Models» (2021) mostró que a veces se puede recuperar texto literal de los datos de entrenamiento de un modelo de lenguaje; lo que importa aquí es la idea: el dato de entrenamiento puede estar, de forma recuperable, dentro de los pesos.

Para quien defiende, la consecuencia es de diseño: un dato personal que entra en un conjunto de entrenamiento o de afinado puede reaparecer sin que ningún permiso, filtro ni sesión intervenga.

Abre la prueba de memorización. El equipo tomó textos de cada lote de afinado y le dio al modelo solo el comienzo de cada uno, midiendo cuántas veces continuó el texto exactamente igual. Es una prueba hecha por el propio equipo sobre una copia de pruebas, con material que ya tenían: es lectura de un resultado, no un ataque.

Cada lote tiene un número de muestras distinto, así que compara con la tasa y no con el recuento bruto.

Una tasa de reproducción es reproducciones entre muestras, en porcentaje. Sirve para comparar lotes de tamaños distintos y para aplicar el umbral del equipo, que está en su nota. Con muestras pequeñas la tasa se mueve mucho; por eso la nota dice cuántas muestras se usaron.

Calcula la tasa del lote que más reproduce.

Compara el manifiesto con la prueba. El lote que más se reproduce no es el más grande ni el más reciente; es el que tiene muchas copias duplicadas del mismo texto. Es la tendencia que documenta el trabajo «Deduplicating Training Data Mitigates Privacy Risks in Language Models» (ICML 2022): la frecuencia con que un modelo regenera una secuencia crece más que proporcionalmente con las veces que aparece en el entrenamiento, y quitar duplicados reduce el riesgo. No es una garantía para un modelo concreto.

Lee en el manifiesto cuántas copias duplicadas tiene el lote que más reproduce.

La nota del equipo advierte algo importante: cero reproducciones en una prueba no significa que no haya memorización, solo que esa prueba no la encontró. Y una tasa por encima del umbral pide actuar antes de volver a afinar, no esconder el síntoma.

El lote que supera el umbral mezcla duplicados y datos con identificadores directos. La defensa está en el material de partida, no en la salida.