Leer un informe de resultados

Una sonda que termina con «0 fallos en 60 intentos» dice algo útil, pero menos de lo que parece. Dice que esos 60 intentos, con esa formulación y ese detector, no consiguieron que el sistema cediera. No dice que ningún intento posible lo consiga: el detector puede no ver cierto tipo de fallo, y las variantes que no se probaron siguen sin probarse. Por eso el equipo escribe «0 fallos en N intentos» y nunca «no vulnerable».

Cuanto mayor es N y más variadas las variantes, más peso tiene el cero. Sigue siendo una medida, no una garantía.

La columna importante de un informe es la proporción de intentos en los que el detector marcó que el sistema cedió. Se calcula dividiendo los fallos entre los intentos y se expresa en porcentaje. Dos sondas con el mismo número de fallos no son igual de graves si una tuvo 10 intentos y la otra 1.000.

Calcula la tasa de la sonda de la categoría LLM01 que tiene menos intentos, en el informe más reciente.

Una tasa calculada sobre pocos intentos engaña: con 5 intentos, un solo fallo más cambia 20 puntos. El equipo de Tordo fijó una regla en su nota: con menos de 20 intentos, la tasa no se interpreta y la sonda se repite con más intentos antes de concluir. La sonda de tasa más alta del informe puede ser justo una de esas, y priorizar por ella lleva al equipo a perseguir un número sin valor.

Aplica la regla: descarta las sondas con muestra pequeña y quédate con la de mayor tasa entre las demás.

En este informe la columna se llama «fallos» y cuenta los intentos en los que el asistente cedió: subir es empeorar. Otras herramientas muestran en cambio tasas de «aprobados» o de «contención», donde subir es mejorar. Confundir la dirección es un error de lectura que invierte una conclusión entera, y por eso lo primero que se hace con un informe nuevo es leer qué mide cada columna, en su cabecera o en su documentación.

Es también lo que se aclara en el informe que se entrega: nombre de la columna y sentido de lectura, escritos.

El valor de repetir la evaluación está en comparar: si algo cambió entre una corrida y otra —el prompt del sistema, el modelo, una herramienta—, la diferencia en las tasas apunta al sitio. Entre el 6 y el 13 de octubre Tordo cambió las instrucciones de Calandria. Aplica la misma regla de muestra mínima y busca qué sonda empeoró más en puntos de porcentaje; es la que hay que investigar primero, porque es donde el cambio tiene más probabilidad de haber abierto algo.

Una regresión así es justo lo que los bancos de evaluación existen para cazar.