Regresiones al cambiar el modelo o el prompt

Una regresión es un cambio que vuelve a abrir algo que estaba cerrado. Para cazarla antes de desplegar, el equipo define una puerta de aprobación: reglas escritas de antemano que el candidato debe cumplir. Las más habituales son dos: un techo por categoría, la tasa máxima tolerable, y un salto máximo frente a la base, cuánto puede empeorar como mucho. Las reglas se aplican categoría por categoría, no sobre la cifra global.

La razón es la misma que en la sala de métricas: una mejora grande en una categoría puede compensar en el promedio una subida seria en otra. El promedio aprueba lo que cada categoría, por separado, suspendería. Una categoría que empeora es una regresión aunque el global mejore.

Abre la tabla con las cuatro combinaciones de modelo y prompt para la categoría LLM02. La combinación en producción es la base; el candidato es el cambio que se quiere desplegar, con el modelo nuevo y el prompt nuevo juntos. Calcula la tasa de cada una con sus éxitos entre los intentos válidos y resta: la diferencia, en puntos porcentuales, es lo que se compara con el salto máximo de la categoría.

Cuando el candidato empeora, la pregunta siguiente es qué lo causó, porque de eso depende la acción: si es el prompt, se reescribe; si es el modelo, hay que hablar con el proveedor o seguir con el anterior. Cuando se cambian el modelo y el prompt a la vez, no se puede saber. La solución es la tabla de cuatro combinaciones: la base, solo el prompt nuevo, solo el modelo nuevo y los dos. Se compara en cada eje cuánto cambia la tasa al cambiar solo ese factor y se mira cuál mueve la cifra.

Lee las cuatro filas de la matriz y señala el factor responsable.

Aplicar la puerta es una comprobación mecánica y se hace con las reglas de la tabla: para cada categoría, ¿supera el candidato su techo? ¿Empeora más que su salto máximo? Basta con que ocurra una de las dos cosas para que la categoría incumpla. Mejorar no cuenta como incumplir, aunque la diferencia sea grande. Y hay categorías que incumplen sin tocar el techo, solo por el salto: una tasa que sigue siendo baja pero que se ha duplicado es una señal que merece atención.

Revisa la tabla de reglas y resultados y cuenta las que incumplen.

Una regresión detectada antes de desplegar es un éxito de la evaluación: hizo su trabajo. La reacción correcta es no desplegar el cambio, anotar qué eje lo causó y decidir con esa información. Si es el modelo, el candidato no avanza hasta tener una versión que cumpla o una mitigación en la arquitectura que cubra esa categoría; reescribir el prompt no arregla un problema que viene del modelo. El resultado queda anotado en el historial para que el mismo modelo no se vuelva a probar sin cambios.