Percentiles y la forma de los datos

El percentil 95 de un conjunto de valores es el número bajo el cual cae el 95 % de las observaciones. Dicho al revés: solo el 5 % de las estaciones envía más que eso. No describe a ninguna estación en concreto; describe una frontera de la flota. Por eso sirve para decidir hasta dónde llega lo ordinario y dónde empieza lo que merece una segunda mirada.

La mediana es el percentil 50: la mitad de la flota queda por debajo y la otra mitad por encima. Mientras el promedio se calcula sumando todo y por eso lo mueve cualquier extremo, un percentil solo depende del orden de los valores: da igual cuánto valga la estación que más envía, solo importa que está al final de la fila.

Abre la consola del laboratorio. La tabla envio_por_estacion trae los megabytes que cada una de las 41 estaciones envió fuera de la red en un día laborable. Ejecuta envio_por_estacion | summarize promedio = avg(mb_dia), mediana = percentile(mb_dia, 50), p95 = percentile(mb_dia, 95), p99 = percentile(mb_dia, 99). Verás cuatro resúmenes de los mismos datos.

Esta consola calcula el percentil por rango más cercano: ordena los 41 valores y toma el de la posición techo(p/100 por n). Con 41 valores, el percentil 95 es el de la posición 39 de la lista ordenada. Comparar el promedio con la mediana ya te cuenta algo de la forma: cuando el promedio queda mucho más arriba, la cola derecha es larga.

Un percentil extremo necesita muchos datos para significar algo. Con 41 estaciones, el percentil 99 cae en la posición techo(0,99 por 41) = 41: es la última de la lista, es decir, el máximo. No hay «1 % de las estaciones» en una flota de 41; hay una sola estación, y la frontera es ella misma. Un umbral basado en ese percentil nunca dispararía con la estación que lo define.

La regla práctica es que un percentil 99 empieza a tener sentido con cientos de observaciones por entidad o por grupo. Con pocos datos, un percentil más bajo (el 90 o el 95) o la mediana con un múltiplo es más honesto que un 99 que solo repite el mayor valor visto.

Ahora una medida de la cola: cuántas estaciones envían más del doble de la mediana. Es un criterio sencillo y robusto, porque la mediana no se mueve por las estaciones extremas. Ejecuta envio_por_estacion | sort by mb_dia desc para ver las 41 de mayor a menor y la mediana del paso anterior para calcular el doble.

Anota que no todo lo que supera ese doble es sospechoso: un área de diseño gráfico envía más que una oficina por oficio. El criterio marca cuántas hay que mirar, no cuáles son malas.

Mirar el total de la flota esconde un dato: lo normal no es igual en todas las áreas. Ejecuta envio_por_estacion | summarize mediana = percentile(mb_dia, 50), maximo = max(mb_dia) by area y compara el máximo de cada área con su propia mediana. Una estación puede ser alta para la flota y corriente para su área, o a la inversa.

Una de las áreas tiene un máximo que es unas cien veces su mediana, muy por encima de lo que cualquier otra área se separa de la suya. Esa es la que merece una hipótesis.