Latencia y falsos positivos en los registros

La latencia de un servicio se informa con percentiles. El p50 es el tiempo que no supera la mitad de las solicitudes; el p95, el que solo supera una de cada veinte. El promedio esconde justo lo que molesta a los usuarios, la cola lenta, y por eso las metas de producto se escriben en p95.

Cuando las capas corren una detrás de otra, el usuario espera a todas: sumar el p95 de cada capa da una aproximación conservadora del total. Si varias capas que no dependen entre sí corren en paralelo, el usuario espera a la más lenta del grupo, no a la suma. Los guardrails que llaman a un modelo de lenguaje suelen costar cientos de milisegundos; los deterministas, uno o dos.

Abre el resumen por capa del 2 de octubre. El modelo principal no es un guardrail: genera la respuesta y su tiempo existe con o sin protección. Entre las demás capas hay una que cuesta más que todas las otras juntas, y suele ser la que le pregunta a otro modelo de lenguaje.

La nota del resumen dice que las capas corren en serie y cuál es la meta de la respuesta completa. Suma el p95 de todas las capas, incluido el modelo principal, porque la meta es de la respuesta entera, y compara con la meta.

Un registro de bloqueos dice cuántas veces actuó una capa, no si acertó. Para saberlo hay que revisar una muestra: una persona lee cada mensaje bloqueado y anota si era legítimo. Esa proporción es la que se lleva a una conversación con soporte, porque es la que se traduce en clientes atendidos o no.

Calcula qué porcentaje de los bloqueos revisados eran mensajes legítimos, sumando todas las capas.

El total esconde de dónde vienen los errores. Una capa con pocos bloqueos puede tener casi todos equivocados, y otra con muchos, casi todos acertados. Antes de tocar nada se mira capa por capa: la que acumula más clientes bloqueados por error es la primera candidata a revisar su umbral o su alcance.