Panorama de marcos y bancos de prueba

Un marco de evaluación es el programa que ejecuta las pruebas: carga las muestras, se las pasa al modelo con una plantilla, recoge la salida y la califica. Un banco de prueba es el contenido: un conjunto de preguntas con su respuesta esperada o con un criterio para juzgarla. Una clasificación pública es una tabla que alguien publicó comparando muchos modelos en sus propios bancos. Las tres cosas se citan a veces con el mismo nombre, y por eso una cifra suelta no dice nada.

Cuatro marcos de código abierto aparecen a menudo en el oficio. Uno de ellos está pensado para que cada equipo escriba sus propias evaluaciones, incluidas las de agentes que usan herramientas en varias vueltas; otro ejecuta de forma uniforme muchos bancos de capacidad ya publicados; otro compara muchos modelos en muchos escenarios con varias métricas a la vez; y otro se especializa en aplicaciones que recuperan documentos. Ninguno es mejor en abstracto: cada uno responde bien a un tipo de pregunta.

Por eso una cifra de evaluación solo significa algo si viene con su contexto: qué banco, qué versión, con qué configuración y en qué marco.

El primer error de un plan de evaluación es asignar un banco que mide otra cosa. Un banco de opción múltiple sin herramientas mide lo que el modelo sabe; no puede decir qué hace el asistente cuando una herramienta le devuelve datos que no son del cliente que pregunta. Para eso hace falta ejecutar al asistente con su herramienta, aunque sea simulada, y calificar la conversación entera.

Abre la consola. La tabla marcos describe qué hace cada marco, necesidades lista lo que el equipo quiere saber y plan dice qué marco y qué banco se asignó a cada necesidad y en qué estado está. Cruza las tres.

Un plan no se juzga por cuántas corridas tiene hechas, sino por cuántas preguntas tiene respondidas de forma válida. Una corrida hecha con el banco equivocado cuenta como no medida, igual que una pendiente o una necesidad que nadie planificó. La nota de la tabla plan fija ese criterio.

Una clasificación pública es útil para hacer una lista corta de candidatos: muestra cómo se comportan muchos modelos en las mismas condiciones y con varias métricas. Pero mide modelos generales con bancos generales. No sabe nada de las fichas de producto de Llaca, de su herramienta de estado ni de sus clientes. Un buen puesto en esa tabla no sustituye a la evaluación del sistema propio.

Corregir el plan no es buscar otro banco de opción múltiple más difícil: es elegir un marco capaz de poner al asistente con su herramienta delante de casos concretos y calificar lo que hizo. La tabla marcos dice qué unidad de prueba usa cada uno y qué entrega.