Pruebas unitarias de políticas

Las pruebas de Rego son reglas cuyo nombre empieza por test_. Cada una sustituye la entrada con la palabra clave with (regla with input as {...}) y comprueba el resultado. Si la prueba es indefinida o da algo distinto de verdadero, cuenta como fallo. Conftest las ejecuta con conftest verify, y OPA con opa test.

Una prueba útil responde una pregunta: «con esta entrada, ¿esta regla hace lo que se espera?». Eso exige que la entrada sea realista: con el tipo de recurso correcto y los campos que la regla mira. Una prueba cuya entrada nunca podría activar la regla pasa siempre, y pasar siempre no es lo mismo que proteger.

Una prueba de «permite» es la más fácil de escribir mal. Si la entrada no se parece a la que la regla evalúa, la regla no se activa, el resultado queda vacío, y count(...) == 0 se cumple sin que la regla haya tenido oportunidad de equivocarse. La prueba pasa hoy y pasará también el día que alguien rompa la regla.

Lee el archivo de pruebas con cuidado: busca la entrada cuya forma no corresponde a lo que la regla espera.

Una regla sin ninguna prueba puede romperse en silencio: la suite seguirá en verde porque nada la mira. Se encuentra cruzando dos listas, las reglas de la política y las reglas que alguna prueba invoca. La cobertura que informan algunas herramientas (OPA puede informar qué líneas se evaluaron) ayuda, pero aquí basta con leer.

Cruza las reglas del archivo de política con las pruebas del archivo de pruebas.

La prueba de mutantes toma la política, le hace una edición pequeña (invertir una comparación, borrar una condición) y vuelve a correr las pruebas. Si alguna falla, el mutante «muere»: la suite habría detectado ese error. Si ninguna falla, sobrevive: la política cambió y nadie se enteró. Cada mutante vivo señala una prueba que falta o una prueba que no comprueba lo que dice.

Lee el informe del script del equipo.

Un mutante vivo no se arregla en el informe sino en las pruebas. Para cada uno se pregunta: ¿qué entrada habría hecho fallar la suite con este cambio? Esa entrada es la prueba que falta. Si dos mutantes sobreviven por el mismo motivo (una entrada de un tipo de recurso que no activa la regla), corregir esa entrada puede matar a los dos.