Medir la automatización sin engañarse

El indicador que primero se ofrece es el de volumen: cuántas alertas cerró la automatización. Es fácil de contar y premia cerrar rápido, incluso cerrar mal. Para no engañarse se mide junto a otros dos: la precisión de los cierres (de lo que se cerró solo, qué proporción era correcta, estimada con una muestra que revisa una persona) y el tiempo de respuesta de lo que sí llega a una persona, que no mejora porque el playbook cierre las fáciles.

Un cuarto indicador mira hacia dentro: la cobertura, qué parte de las alertas atiende algún playbook y qué parte sigue como antes. Los cuatro se leen juntos, y ninguno lo dice todo.

La tasa de reaperturas es el primer indicador de precisión que sale de los datos sin pedir nada más: de las alertas que la plataforma cerró sola, cuántas reabrió después una persona porque no debían estar cerradas. Se calcula dividiendo las reabiertas entre las cerradas y multiplicando por cien.

Abre resumen_octubre y calcula el porcentaje de octubre, redondeado a un decimal y con coma decimal.

Los números absolutos engañan. Un playbook con ocho errores en cincuenta cierres revisados parece peor que uno con tres errores en cinco, porque ocho es más que tres. Pero lo que cuenta es la proporción: el primero se equivoca una de cada seis veces y el segundo tres de cada cinco. Para decidir a cuál mirar primero se compara el porcentaje de cierres incorrectos de cada uno, no la cifra bruta.

Abre muestra_de_revision y compara las proporciones.

Si todos los errores se vieran, la tasa de reaperturas y la de errores de la muestra darían parecido. En octubre no lo hacen: las reaperturas de resumen_octubre son una cifra pequeña, y la muestra de muestra_de_revision encuentra una proporción de errores varias veces mayor. La diferencia no es una casualidad, y entenderla es lo que hace útil la muestra.