Métricas de desempeño y de efecto

Las métricas de un programa de inteligencia se agrupan en tres familias. La actividad cuenta cuánto se hace: informes publicados, fuentes revisadas, indicadores recogidos. El desempeño mide con qué calidad y a qué ritmo: días entre el pedido y la entrega, porcentaje de entregas a tiempo. El efecto mide qué cambió en otras áreas por lo que se produjo: decisiones tomadas, detecciones que acertaron, incidentes que se evitaron o se contuvieron antes.

Consulta SELECT * FROM metricas para ver las cinco métricas del trimestre agrupadas por familia. Las dos primeras son de actividad, y lo que distingue a una métrica de efecto es que no se puede mejorar sin que alguien más haga algo distinto.

Hay métricas de actividad que suben sin que nadie haga más trabajo ni mejore nada. Basta con suscribirse a más fuentes para que el número crezca, y crecerá aunque nadie lea nada nuevo. Esas métricas son tentadoras porque siempre mejoran, y por eso mismo no dicen nada: una métrica que no puede empeorar no informa.

Revisa metricas y piensa cuál de ellas se dispararía con solo añadir fuentes automáticas.

La cifra de efecto más simple y más difícil de esquivar es la proporción de informes que motivaron una decisión: se cuenta, de todos los publicados, cuántos fueron citados por un cliente en un cambio, un bloqueo, una corrección o una inversión. No dice qué tan buenos son los informes, pero dice qué parte del trabajo llega a alguien que actúa.

Consulta SELECT * FROM informes: veinte informes, con la columna decision_asociada. Cuenta los que dicen «si» y exprésalo como porcentaje del total.

Las reglas que el SOC deriva de los productos de inteligencia se miden por su precisión: de todas las veces que disparan, cuántas son actividad real. Una regla que dispara mucho y acierta poco cuesta tiempo a los analistas y desgasta la confianza del SOC en todo lo que viene de inteligencia, y eso es un daño al programa mayor que el de no entregar la regla.

Consulta SELECT * FROM reglas. Calcula aciertos entre disparos para cada una; la de menor precisión es la que hay que revisar primero.

A la dirección no se le lleva el tablero entero. Se le lleva una página con las dos o tres cifras que responden a su pregunta: si el programa sirve y si lo que cuesta se justifica. Las cifras de actividad, por grandes que sean, no responden a esa pregunta; las de efecto sí, siempre que se expliquen con una frase y se comparen con el trimestre anterior.