Robustez y ejemplos adversariales: qué dicen las métricas

La exactitud «limpia» se mide con fotos como las que el modelo vio al entrenar: bien iluminadas, sin comprimir, sin nada raro. Dice cómo se comporta el modelo en condiciones normales y nada más. La robustez se mide aparte, con dos familias de cambios. Los naturales ocurren solos: poca luz, desenfoque, compresión de la cámara, gotas en el lente. Los adversariales son cambios pequeños, a menudo invisibles para una persona, elegidos para hacer fallar al modelo; su tamaño se expresa como un presupuesto, el cambio máximo permitido por píxel.

Que un modelo sea frágil ante cambios adversariales no es un defecto raro de un modelo concreto: es una propiedad conocida de casi todos los modelos de visión. La taxonomía de aprendizaje automático adversarial que publica el NIST (NIST AI 100-2 E2025) la trata como un tipo de ataque propio, la evasión, distinto del envenenamiento de datos.

Las perturbaciones naturales importan más de lo que parece, porque no hace falta ningún adversario para que lleguen: basta con que un taller tome la foto de noche o que la app comprima la imagen. Son, además, las primeras que se deben vigilar en producción, porque se pueden medir en las fotos que llegan.

Consulta la tabla de evaluación y busca, entre las pruebas de tipo natural, la que más baja la exactitud respecto a la prueba limpia.

Una cifra de exactitud bajo perturbación cuenta todos los errores igual, y el negocio no. En Bandurria, una foto que pasa a «leve» puede cobrarse sin que la mire un perito; una foto leve que pasa a «moderado» solo le cuesta a la empresa una visita de perito de más. Por eso, después de la exactitud, se mira hacia dónde se mueven los errores: la matriz de cambios de clase.

Con la tabla de cambios de clase, cuenta cuántas fotos que el modelo clasificaba bien en limpio terminan clasificadas como leve con la perturbación de presupuesto 4/255.

Una prueba adversarial mide lo que aguanta el modelo contra ESE método de prueba, no contra cualquiera. Los métodos de un solo paso son rápidos y sirven para una primera idea, pero suelen encontrar menos fallos que los iterativos, que corrigen la perturbación en muchos pasos pequeños. Por eso la cifra de una prueba débil es un techo: el modelo no será más robusto que eso, y probablemente lo será menos.

Lee la nota de la tabla de evaluación: dice con qué método se hicieron las pruebas adversariales.

Hacer un modelo más robusto ayuda, pero no hay un método conocido que vuelva a un modelo de visión inmune a todos los cambios adversariales. La defensa de un sistema así se reparte: la regla de negocio decide cuánto daño puede hacer un error, una muestra de reclamaciones «leves» revisada por peritos detecta si el error se concentra en algún sitio, un tope por reclamación y por taller acota la pérdida, y el monitoreo de las fotos que llegan avisa cuando cambian.