Medir el análisis y fijar umbrales

La cifra más fácil de sacar es el número de hallazgos abiertos, y por eso se convierte en objetivo. El problema es que se puede bajar de dos maneras: corrigiendo, o suprimiendo. Cuando una métrica se vuelve meta, se optimiza el número y no el riesgo. Las que informan son otras: la precisión del triaje (de los hallazgos nuevos, qué parte resultó verdadera), el tiempo para corregir un error, la cobertura (qué parte de los repositorios tiene análisis) y las supresiones por mes, que delatan cuándo el equipo calla en lugar de arreglar.

Un buen panel muestra juntas las que se contradicen: si los abiertos bajan mientras las supresiones suben, algo se está escondiendo.

La precisión del triaje se calcula con los hallazgos nuevos que ya fueron revisados: verdaderos dividido entre la suma de verdaderos y falsos positivos, por cien. Dice cuántas veces tiene razón el análisis cuando habla. Una precisión baja no significa que el análisis sea inútil, significa que cada hallazgo cuesta mucho tiempo de triaje para encontrar el real, y que las reglas necesitan afinación. Hay que mirarla mes a mes: lo que importa es la tendencia.

En el panel de Naranjal hay cinco meses; el último es el de la política vigente.

Las supresiones son un termómetro. Un número bajo y estable indica que se usan para casos concretos. Un pico indica que algo cambió: se activó un paquete de reglas nuevo, se sumaron repositorios con mucho código heredado o se aflojó la exigencia del triaje. Mirarlas junto a los falsos positivos del mismo mes ayuda a distinguir la causa. Un pico de supresiones sin pico de falsos positivos sería más grave todavía.

Revisa la serie de cinco meses y localiza dónde está el máximo.

No todas las reglas tienen la misma confianza. Una regla nueva, o una cuya precisión medida es baja, no debería bloquear fusiones: cada bloqueo falso cuesta tiempo y credibilidad. La alternativa a «bloquear» o «desactivar» es el modo aviso: la regla comenta el hallazgo en la propuesta, sin impedir la fusión, y se mide su precisión. Cuando los números justifican la confianza, se promueve a bloqueante; si no mejora, se afina o se retira con datos en la mano.

Así el equipo gana cobertura sin pagar el coste de los falsos bloqueos desde el primer día.

Un umbral no se elige por intuición: se simula con propuestas ya pasadas. Para cada candidato se mira cuántas propuestas habría bloqueado, cuántas de esas sin motivo real, y cuántos hallazgos verdaderos habría dejado llegar a producción. El que deja pasar algo verdadero no sirve; entre los que no dejan pasar nada, es mejor el que bloquea menos por error, porque es el que el equipo aguantará.

La tabla de simulación aplica cuatro candidatos a las 38 propuestas de agosto.