Qué es una traza de una llamada a un modelo

Una traza es el recorrido completo de una petición. Se compone de spans: cada span es un paso con nombre, momento de inicio, duración, estado y atributos, y todos los spans de una misma petición comparten el identificador de la traza. Cada span, salvo el primero, apunta a su padre, y así se forma un árbol: la petición HTTP contiene al agente, y el agente contiene la búsqueda de documentos, las llamadas al modelo y la ejecución de herramientas.

OpenTelemetry es el proyecto abierto, alojado en la Cloud Native Computing Foundation, que define cómo se generan y se envían trazas, métricas y registros. Tiene convenciones semánticas específicas para IA generativa, todavía en desarrollo, que fijan cómo se llaman las operaciones (por ejemplo chat, retrieval, execute_tool o invoke_agent) y qué atributos lleva cada span. Con eso, una traza escrita por una aplicación se puede leer en cualquier plataforma de trazas compatible, incluidas las de código abierto.

El árbol importa cuando se investiga. Si una herramienta falla o tarda, la pregunta siguiente es dentro de qué se ejecutó: si cuelga directamente de la petición, la llamó el código de la aplicación; si cuelga del span del agente, fue una decisión del agente, tomada después de que el modelo pidiera usarla. Esa diferencia separa un fallo de programación de un comportamiento del agente.

Abre la traza en la carpeta trazas y localiza el span que ejecutó la herramienta de simulación de cuota. Anota el identificador de su padre.

La duración del span raíz es lo que esperó el cliente. Las duraciones de los hijos explican por qué: en un asistente casi siempre la mayor parte se va en las llamadas al modelo, y cada vuelta de herramienta añade una llamada más. Por eso un agente que encadena herramientas suele tardar varias veces lo que tarda una pregunta directa, y una traza permite medirlo paso a paso en vez de adivinarlo.

Suma la duración de todas las llamadas al modelo de esta traza.

La aplicación no siempre sabe qué modelo le contestó. Muchas arquitecturas piden un alias a una pasarela, y la pasarela decide: el modelo principal, otro de respaldo si el primero rechaza la petición, o una versión nueva que el proveedor publicó con el mismo nombre. Por eso la convención distingue el modelo pedido (gen_ai.request.model) del modelo que dice haber respondido (gen_ai.response.model). Si solo se registra el primero, un cambio de comportamiento no se puede atribuir.

Lee los atributos de las dos llamadas al modelo de la traza y la configuración de la pasarela. Anota qué modelo respondió la segunda llamada.

Las convenciones de OpenTelemetry para IA generativa proponen nombrar el span de una llamada al modelo con la operación y el modelo pedido, como chat asistente-estandar, y no con lo que escribió el cliente. Hay dos razones. El nombre se usa para agrupar, filtrar y construir métricas, y si cada span tuviera un nombre distinto no se podría agrupar nada. Y el nombre se ve en todas partes, sin los controles de acceso que se aplican al contenido, así que no puede llevar datos de nadie.