Evaluaciones en línea y muestreo

Hay dos momentos para decidir si una traza se guarda. En el muestreo de cabeza se decide al empezar, al azar: es barato, pero se decide sin saber cómo terminará la petición, así que un error raro tiene las mismas probabilidades de perderse que cualquier otra traza. En el muestreo de cola el colector espera a que la traza termine y decide con lo que pasó: puede guardar todas las que fallaron, todas las lentas y una fracción del resto. Cuesta más memoria y espera, y a cambio no se pierde lo que más interesa.

Lo que no cumple ninguna condición del muestreo de cola solo queda si cae en la fracción al azar. Por eso cada condición de la política de evaluación tiene que tener su regla de muestreo; si no la tiene, depende de la suerte.

Una muestra al azar reproduce las proporciones del tráfico: los flujos con mucho volumen reciben muchas evaluaciones y los pequeños casi ninguna. El problema es que los flujos pequeños suelen ser los delicados, los que tocan una decisión difícil o una situación económica complicada, y con unas pocas trazas evaluadas cualquier puntuación es ruido. La política lo previene con un mínimo por flujo.

Compara los resultados de la semana 40 con la política de evaluación. Anota el flujo que no llega al mínimo de trazas evaluadas.

Un modelo que hace de juez evalúa miles de trazas a un costo bajo, pero es otro modelo, con sus propios errores y sesgos. Antes de dejar que su veredicto dispare una alerta se calibra: personas revisan a mano una muestra y se cuenta en cuántas el juez coincidió con ellas. Un evaluador que coincide poco genera alertas que nadie debería creer, o calla cuando debía avisar.

Con el archivo de calibración, calcula el porcentaje de coincidencia del evaluador que comprueba si las respuestas se apoyan en las fuentes.

Cuando el filtro de salida bloquea una respuesta, el asistente devuelve un mensaje alternativo y la petición termina sin error. Para el colector es una traza normal, rápida y correcta. Si la política quiere revisar esos bloqueos y ninguna regla del muestreo los reconoce, solo se guardan los que caigan en la fracción al azar, y la revisión prometida no se puede hacer.

Compara las políticas del muestreo con la política de evaluación y anota la regla de evaluación que la configuración actual no permite cumplir.

Subir el porcentaje al azar para todos encarece el almacenamiento y la evaluación sin resolver lo importante: los flujos pequeños siguen recibiendo pocas trazas en proporción. La corrección es dirigir el muestreo: reglas por condición (bloqueos del filtro) y por flujo (un mínimo garantizado, o guardar todo en los flujos de poco volumen).