Métricas de AppSec para el comité

Una métrica útil para un comité tiene cuatro cualidades: una definición escrita que no cambia sin avisar, una fuente que otra persona puede consultar, un denominador visible (el «de cuántas») y una decisión que cambiaría según su valor. Un indicador que nadie usaría para decidir es decoración.

Cuando la definición cambia a mitad de camino, la serie histórica deja de ser comparable. Se puede cambiar, pero hay que anotarlo, recalcular el pasado o cortar la serie.

Un indicador de rapidez medido desde el aviso incluye la espera hasta que alguien confirma la vulnerabilidad; medido desde la confirmación, esa espera desaparece. La cifra baja sin que el equipo arregle más rápido.

Abre indicadores y lee la columna nota_de_cambio: busca el indicador cuyo punto de partida del conteo cambió.

Un porcentaje solo es honesto si se ve de qué se parte. La tabla cierres_trimestre_3 da, por severidad, cuántas vulnerabilidades se cerraron y cuántas de ellas dentro del plazo de la política. El indicador para el comité es el porcentaje de críticas cerradas dentro del plazo.

Pasar de 14 a 6 vulnerabilidades graves sin cerrar parece un gran avance. Pero si en el mismo periodo el número de aplicaciones evaluadas bajó de 40 a 25, parte de la mejora se explica porque se miran menos aplicaciones, no porque haya menos vulnerabilidades por aplicación. Un indicador absoluto necesita siempre su alcance al lado.

Busca en nota_de_cambio el indicador cuya mejora coincide con un alcance menor.

El comité tiene minutos, no horas. La página de AppSec cabe en pocas líneas: lo que cambió, lo que preocupa, lo que se decide o pide. Cada cifra lleva su definición y su alcance al lado, y cada cambio de método se declara en la misma página, no en un anexo.