Evaluación con modelo como juez: límites

Un modelo juez recibe la pregunta, la respuesta evaluada y una rúbrica, y devuelve una nota o un veredicto. Sirve para calificar respuestas abiertas a escala, algo que una comparación de texto exacta no puede hacer. Pero el juez es otro modelo, con sus propias tendencias, y las más conocidas son estas: prefiere la respuesta que se le muestra en cierta posición; premia las respuestas largas aunque no sean mejores; tiende a favorecer respuestas de su propia familia de modelos; es indulgente con lo que suena seguro; y puede dejarse llevar por texto dirigido a él dentro de la respuesta que califica.

Ninguno de esos sesgos se ve en la nota final. Se ven comparando al juez con personas, invirtiendo el orden de presentación y leyendo su configuración.

El primer dato a revisar en un juez es de dónde viene. Si el juez y uno de los candidatos salen de la misma familia de modelos, las comparaciones entre candidatos dejan de ser neutrales, por mucho que la rúbrica sea buena.

Abre el laboratorio y lee la configuración del juez junto con la lista de candidatos.

La forma básica de calibrar un juez es darle a personas las mismas respuestas, sin que vean la nota del juez, y contar en cuántas coinciden. El acuerdo es la suma de los casos en que los dos aprueban y los dos rechazan, entre el total. Además del acuerdo importa la dirección del desacuerdo: no es lo mismo un juez que rechaza de más que uno que aprueba lo que las personas rechazarían.

En una comparación por pares, un juez sin sesgo de posición elige el mismo ganador muestre primero la respuesta que muestre. Si el ganador cambia al invertir el orden, ese veredicto no dice nada de la calidad. La configuración de Llaca no repite las comparaciones con el orden invertido, así que el equipo lo hizo a mano con una muestra.

Con la configuración, la rúbrica y las dos pruebas delante, el juez de Llaca acumula varios problemas a la vez: su familia, su temperatura, un criterio de la rúbrica que premia la longitud, el orden fijo y una respuesta que le habló directamente. La rúbrica explica parte de los aprobados indebidos de la calibración.