Líneas base y ruido entre corridas

Comparar dos corridas solo tiene sentido si lo único que cambió es lo que se quiere evaluar. Para eso la línea base congela y anota todo lo demás: la versión del modelo, el texto del prompt, la versión del conjunto de casos, los parámetros de muestreo como la temperatura y el detector que decide qué es un éxito. Un cambio en cualquiera de ellos hace que la comparación mida otra cosa sin que nadie lo note.

Y como el modelo muestrea con azar, la línea base no se hace con una corrida, sino con varias repeticiones de la misma configuración. De ellas salen la media y la variación natural: lo que cualquier corrida puede dar por casualidad, sin que nada haya cambiado.

Un descuido frecuente al repetir una base es que una corrida use una versión distinta del conjunto de casos, por ejemplo porque alguien ejecutó el conjunto antiguo. El número de intentos cambia, los casos cambian y la tasa deja de significar lo mismo. Meter esa corrida en la media la desplaza sin que parezca un error, porque la cifra no se ve rara a simple vista.

Abre la tabla de corridas de la base y busca la que no cumple la condición de comparabilidad del conjunto.

Con las corridas comparables se calcula la media de éxitos. Esa media es el punto de referencia contra el que se comparará el candidato. Se calcula solo con las corridas del mismo modelo, prompt y conjunto, y se anotan junto a la fecha y a los parámetros, para que quien la lea dentro de un mes sepa exactamente con qué se hizo.

Calcula la media de éxitos de las corridas comparables.

La media sola no basta. Entre las corridas de la base hay una variación que no se debe a ningún cambio, sino al azar del muestreo. La forma más sencilla de verla es el rango: la diferencia entre la corrida con más éxitos y la que tiene menos, dentro de las comparables. Ese rango es la banda de ruido: cualquier corrida del sistema sin cambios puede caer en cualquier punto de la banda.

Esto no sustituye a las pruebas estadísticas formales, pero es una regla práctica que un equipo puede aplicar a mano y que evita el error de celebrar o alarmarse por una diferencia que el azar produce solo.

Una vez que la base tiene su banda, la decisión sobre un candidato es mecánica. Si el candidato cae dentro de la banda, la diferencia con la media no se distingue del azar: no hay evidencia de que algo haya cambiado, ni para bien ni para mal. Si cae claramente fuera, vale la pena repetirlo para confirmarlo. Decir «ha mejorado» o «ha empeorado» por una diferencia que cabe dentro de la banda es leer ruido como señal.

Hay una consecuencia útil: antes de probar un candidato ya se sabe cuánta diferencia es demasiado pequeña para decir nada.