Reproducibilidad y versionado de evaluaciones

El resultado de una evaluación depende de mucho más que del modelo. Cambia con la instantánea exacta del modelo (los proveedores actualizan sin cambiar el nombre), con la versión del marco, con la revisión del conjunto de preguntas, con la plantilla con que se presentan, con el número de ejemplos previos que se ponen en la instrucción, con los parámetros de generación como la temperatura, con la semilla y con el límite de ítems si solo se evaluó una parte. Si califica un modelo juez, también con el juez y su versión.

Los marcos de evaluación permiten fijar casi todo eso y guardar las entradas y salidas de cada muestra. Un manifiesto es el registro de esos valores junto al resultado. Con él, otra persona puede repetir la corrida, y dos corridas se pueden comparar sabiendo qué cambió entre ellas.

Además de la configuración, una corrida tiene que dejar sus muestras: qué entrada recibió el modelo en cada caso y qué devolvió. Sin ellas no se puede revisar un caso concreto, ni comprobar si el calificador acertó, ni repetir el análisis con otro criterio. La política de Llaca no admite para decidir una corrida que no las guardó.

Abre el laboratorio y lee los dos manifiestos y la política.

El límite de ítems es útil para comprobar que una corrida funciona antes de lanzarla entera, pero una cifra calculada sobre una parte del conjunto no es la cifra del conjunto: tiene más incertidumbre y depende de qué parte tocó. La política de Llaca explica cómo se expresa ese límite y cuántos ítems tiene el conjunto.

El aviso compara las dos corridas como si solo hubiera cambiado el modelo. Compara los dos manifiestos campo a campo. La instantánea del modelo cambia, como era de esperar; la pregunta es cuántos campos más cambian y pueden explicar, solos o juntos, la diferencia.

La caída de nueve puntos puede venir de la actualización del modelo, de la nueva revisión del conjunto, de quitar los ejemplos previos o de evaluar solo una parte. Con estos manifiestos no se puede separar una causa de otra, y la corrida nueva ni siquiera cumple la política.