Medir el ahorro y el error

El ahorro de un playbook es sencillo de calcular: ejecuciones por la diferencia entre lo que costaba hacer la tarea a mano y lo que cuesta con el playbook. Pero no dice si lo que ejecutó fue lo correcto. Dos medidas lo completan: la tasa de reapertura (de cada cien casos que cerró, cuántos hubo que volver a abrir) y las acciones erróneas con su costo.

Un playbook que ahorra mucho y se equivoca a menudo no es un buen playbook: traslada el trabajo del analista al día siguiente, y el costo de las paradas lo paga el negocio.

El ahorro de cada playbook es el número de ejecuciones por los minutos que ahorra cada una (los de la mano menos los del playbook). El total de la revisión es la suma de los tres. Es una cifra que conviene tener clara, aunque no se debe presentar sola.

Abre el laboratorio, consulta playbooks_octubre y calcula el ahorro total del mes en minutos.

La tasa de reapertura es la proporción de casos reabiertos sobre las ejecuciones. Comparar los números absolutos engaña: un playbook que corre 400 veces tendrá más reabiertos que uno que corre 60, aunque se equivoque menos. Hay que dividir.

Calcula la tasa de cada playbook en playbooks_octubre.

El ahorro bruto no incluye lo que costaron las acciones erróneas. Cuando se miden en la misma unidad, los minutos de parada que provocaron se restan del ahorro. Es una simplificación, pero obliga a mirar los dos lados del balance.

Suma en errores_octubre los minutos de parada y réstalos del ahorro bruto de octubre.

Las acciones erróneas del mes solo se conocen porque alguien las revisó. Si nadie revisa lo que el playbook cierra solo, el error es invisible y el ahorro parece perfecto. Medir exige un control que no dependa del propio flujo.