Métricas de costo, latencia y calidad

La latencia de un asistente no se reparte de forma pareja: la mayoría de las respuestas llega rápido y unas pocas tardan muchísimo, por ejemplo las que encadenan herramientas o las que cayeron en un modelo de respaldo. El promedio mezcla los dos grupos y esconde a los clientes que esperaron. Por eso se vigilan percentiles: la mediana (p50) dice cómo le va al cliente típico y el percentil 95 (p95) dice cómo le va a uno de cada veinte en el peor lado.

En un asistente se mira además el tiempo hasta el primer fragmento de la respuesta, que es lo que el cliente percibe como «ya contestó» cuando la respuesta llega por partes, y se separa del tiempo total de la traza.

Cuando el p95 sube y la mediana no se mueve, el problema no es general: es un grupo de peticiones que tarda mucho más que el resto. Las causas típicas son un proveedor que rechaza peticiones y obliga a caer al modelo de respaldo, una herramienta que tarda, o un tipo de pregunta que dispara más vueltas del agente. La métrica dice cuándo; las trazas de ese día dicen cuáles.

Consulta las métricas diarias y localiza el día en que la cola lenta creció mientras la mediana se quedó igual.

El costo de un asistente se reconstruye con tokens y precio: tokens de entrada por su precio, más tokens de salida por el suyo, que suele ser varias veces mayor. Tenerlo calculado por día y por modelo permite ver si un cambio de instrucciones o de modelo encareció el servicio, y es la misma cuenta que después se usa para alertar sobre un gasto anómalo.

Con las métricas del 4 de octubre y la tabla de precios, calcula cuánto costaron ese día los tokens del modelo principal.

Una respuesta cortada por llegar al máximo de tokens de salida termina a mitad de frase, y en un asistente de créditos eso puede dejar una condición sin decir. El motivo de fin queda en cada span (gen_ai.response.finish_reasons), y agregado por versión de las instrucciones muestra si un cambio de configuración lo provocó. Bajar ese máximo ahorra costo y casi siempre se paga en calidad.

Consulta los indicadores por versión de las instrucciones y anota la versión con la que se dispararon las respuestas cortadas.

Los votos de los clientes parecen la medida más directa de calidad, pero tienen dos sesgos: vota quien quiere, casi siempre muy contento o muy molesto, y basta mover el botón para que voten menos. Una evaluación automática sobre una muestra de trazas no depende de que el cliente vote, y por eso se lee junto a los votos, con el número de votos al lado.