Regresiones y pruebas continuas

Una regresión es un caso que pasaba y deja de pasar. No es un fallo cualquiera: es un fallo de algo que ya se había comprobado, y por eso es el más caro, porque nadie lo vigilaba. Se detecta con una suite: el conjunto completo de casos, que se corre entero cada vez, no solo los casos nuevos.

Cada caso que sirvió para cerrar un error se queda en la suite para siempre. El conjunto crece con la historia de la regla: cada versión añade los casos que le faltaban y conserva los anteriores. Por eso una corrida registra la versión de la regla, la versión de la fuente y los casos que fallan.

Abre el panel. La tabla corridas guarda cada ejecución completa de la suite, con la versión de la regla y de la fuente, y los casos que fallaron. Hubo una corrida en que cambió la regla y falló un caso que antes pasaba: esa es la regresión de la regla.

En la última corrida la regla es la misma que en la anterior y, sin embargo, la mitad de los casos falla. Es la regresión de la fuente: el dato cambió bajo la regla. Se detecta porque la suite se corre también cuando cambia algo que la regla lee, no solo cuando alguien edita la regla. La tabla que_cambio dice qué se tocó antes de cada una de las dos corridas fallidas.

El caso que atrapó la regresión de la regla no se escribió después del problema: ya estaba en la suite. Eso es lo que hace útil una suite acumulada: cada caso del pasado protege contra errores del futuro. Mira en la tabla casos cuándo se incorporó el caso fallido.

Una suite que solo se corre cuando alguien se acuerda no protege. Debe correr sola, en dos momentos distintos, porque las dos regresiones que has visto tienen causas diferentes, y su resultado debe quedar anotado con la versión de la regla y de la fuente.