Conjuntos de evaluación por categoría de riesgo

Un conjunto de evaluación se usa de dos maneras distintas. Durante el desarrollo, el equipo lo corre a diario, mira qué casos fallan y ajusta el prompt o los filtros hasta que pasan. Antes de aprobar un cambio, lo corre para decidir si el sistema está listo. Si las dos cosas se hacen con los mismos casos, ocurre algo conocido: las defensas se ajustan, sin querer, a esos casos concretos. La tasa de fallo baja, pero lo que ha mejorado es la memoria del sistema sobre ese catálogo, no su capacidad de resistir casos parecidos que no ha visto.

La solución es partir el conjunto. La partición de desarrollo se lee fallo por fallo y se usa para corregir. La partición retenida solo se corre al decidir, y nadie la usa para ajustar: si alguien la mira para corregir un fallo, ese caso pasa a desarrollo y hay que escribir uno nuevo para el retenido. Así la tasa del retenido mide si las defensas generalizan.

Un conjunto formado solo por ataques empuja hacia un asistente que se niega a todo: sus tasas de ataque son excelentes y es inútil para el cliente. Por eso el catálogo incluye casos benignos, peticiones legítimas de clientes normales, con el mismo reparto entre desarrollo y retenido. Con ellos se puede medir, más adelante en el módulo, cuántas veces el asistente rechaza algo que debía atender. La proporción la decide el equipo según cuánto le preocupa cada lado; lo importante es que exista y que se conozca.

Abre el catálogo de Tenca y calcula qué parte del total son casos benignos.

Cobertura no significa el mismo número de casos por categoría, pero sí un mínimo. Una categoría con pocos casos produce tasas que se mueven mucho con un solo caso que cambie de resultado, y el equipo no podrá distinguir una regresión de un azar. Se mira cuántos casos de ataque tiene cada categoría y se marca la que queda por debajo del mínimo para ampliarla antes de fiarse de sus cifras. Más casos se añaden donde el impacto es mayor o donde las defensas son más frágiles.

Cuenta los casos de ataque por categoría en el catálogo.

Un caso nuevo debe comprobar algo distinto de los que ya existen. Dos casos que solo se diferencian en un nombre propio o en una palabra no suman cobertura: cuentan como dos en el total y como uno en la práctica, y si uno está en desarrollo y el otro en retenido, la partición retenida ha dejado de ser independiente. Es un error común al crecer un catálogo copiando filas: la cifra de «casos» sube y la cobertura real no.

La columna que describe qué se comprueba delata estos duplicados; léela en la partición retenida.