Desviación robusta, cuando la media se deja engañar

La desviación estándar mide cuánto se alejan los datos del promedio, y para calcularla todos los datos cuentan, también los raros. Si hay un día de lectura enorme, ese día sube el promedio y, sobre todo, infla la desviación, porque su distancia entra elevada al cuadrado. Con dos días enormes el efecto crece: la regla «promedio más tres desviaciones» deja la frontera tan lejos que el menor de los dos puede quedar por debajo y pasar como normal.

A este efecto se le llama enmascaramiento: los valores atípicos esconden a los atípicos. Se arregla usando medidas que no cuentan con los extremos para calcular lo que es normal.

Abre la consola. La tabla lecturas_diarias trae los archivos que svc-lecturas-tau leyó en cada uno de los 21 días laborables de septiembre, del 1 al 29. Ejecuta lecturas_diarias | summarize promedio = avg(archivos), desviacion = stdev(archivos), mediana = percentile(archivos, 50).

Con el promedio y la desviación que muestra la consola, la frontera clásica es el promedio más tres desviaciones. Redondea al entero más cercano. Esa es la cifra por encima de la cual la regla clásica avisaría.

Ejecuta lecturas_diarias | where archivos > 100 para ver los días de lectura muy por encima del resto. Son dos. Compáralos con el umbral de la tarea anterior: uno lo supera y la regla lo habría marcado; el otro queda por debajo, aunque sea cuatro veces el día corriente.

Ese segundo día es el enmascarado: está escondido detrás de una desviación que él mismo y su compañero inflaron. Una regla que lo deja pasar tiene un hueco justo donde un cazador querría mirar.

La alternativa robusta usa la mediana como centro y la MAD (mediana de las desviaciones absolutas) como dispersión. Para cada día se calcula cuánto se aleja de la mediana sin signo; la MAD es la mediana de esas distancias. Como ambas son medianas, ni un día enorme ni dos desplazan el centro ni la escala. La tabla desviaciones ya trae esas distancias respecto a la mediana, y desviaciones | summarize mad = percentile(desv_abs, 50) devuelve la MAD.

Para saber a cuántas MAD está un día de lo normal basta restar la mediana y dividir por la MAD. Haz esa cuenta para el día enmascarado de la tarea anterior y redondea al entero.

La puntuación z modificada es la versión robusta de la z clásica: multiplica por 0,6745 la distancia del valor a la mediana y la divide por la MAD. Una convención de uso común, recogida en el manual de métodos estadísticos del NIST, es considerar posible valor atípico a todo el que tenga una z modificada de más de 3,5 en valor absoluto. La constante 0,6745 solo reescala la MAD para que se parezca a una desviación en datos de forma de campana.

Lo importante para el cazador no es memorizar la constante sino qué cambia: con la mediana y la MAD, el cálculo de lo normal se hace sin contar a los extremos que se quiere detectar.