Alertas y umbrales

Una alerta útil vigila un síntoma que afecta a alguien (errores, lentitud, gasto, caída de calidad) sobre una ventana de tiempo y con un volumen mínimo. La ventana evita reaccionar a un pico de un segundo; el volumen mínimo evita que, de madrugada, dos errores en tres peticiones parezcan un 66 % de fallo. Una regla sobre una sola traza mide algo que siempre va a ocurrir en un sistema con modelo: alguna petición será lenta.

Además, cada alerta tiene un destino con dueño y un procedimiento. Una alerta sin destino deja constancia en un registro, pero no cambia nada.

La fatiga de alertas es un riesgo de seguridad: cuando una regla se dispara cientos de veces sin motivo real, la guardia silencia el canal o deja de leerlo, y la alerta que sí importaba se pierde entre las demás. Se detecta contando, por regla, cuántos disparos terminaron en una acción y cuántos se cerraron como «sin problema real».

Consulta los disparos de la semana 40 y anota la regla con más falsas alarmas.

Una regla puede estar bien diseñada y no servir de nada si nadie recibe el aviso. Pasa con reglas que se crean «para ver cómo se comporta» y se quedan así, o cuando el canal original se cierra y nadie las reasigna. En el registro se ven como disparos sin ninguna acción detrás.

Cruza las reglas con sus disparos y anota la regla que se disparó en la semana 40 y no avisó a nadie.

El costo por hora es la señal más temprana de un consumo anómalo, sea un abuso, un cliente con un error en su integración o un agente que se quedó dando vueltas. Para medir lo que se perdió se compara la hora en que la regla habría avisado con la hora en que alguien lo notó por otra vía.

Consulta el costo por hora del 6 de octubre y anota a qué hora empezó la primera franja que superó el umbral de la regla de costo.

Subir el umbral de una regla ruidosa la calla, pero sigue midiendo lo mismo. Lo que la arregla es cambiar la señal: de una traza aislada a un percentil sobre una ventana, con volumen mínimo y comparado con lo normal de esa hora, y con un destino que tenga procedimiento.