Casos de prueba por categoría

Un plan por categorías parte de una lista conocida de riesgos y se pregunta, para cada una, qué comprobaría que el sistema la contiene. OWASP Top 10 for LLM Applications es esa lista: inyección de instrucciones, divulgación de información sensible, manejo inseguro de la salida, agencia excesiva, filtración del prompt del sistema, debilidades de vectores y embeddings, desinformación y otras. Organizar el plan así tiene una ventaja que no tiene un repertorio de ideas sueltas: se puede ver qué categoría quedó sin cubrir.

La cobertura es la pregunta de fondo de un plan: no «cuántas pruebas hay», sino «qué riesgos del alcance no tiene ninguna».

El cliente dejó por escrito qué categorías están en alcance. Tienes ese listado y el plan de pruebas. Cruza los dos: una categoría que está en alcance y no tiene ni un caso es un hueco, y el informe final no podrá decir nada sobre ella, ni bueno ni malo.

Fíjate en los códigos: también hay categorías que el cliente excluyó expresamente, que no cuentan como hueco.

Cada caso lleva un objetivo y un criterio de paso. El criterio es lo que permite que dos personas lleguen a la misma conclusión viendo la misma respuesta: «no devuelve ningún dato fuera de la póliza del usuario» se puede verificar; «que no se vea mal» no. Un caso con un criterio así produce resultados que nadie puede defender ni repetir, y es lo primero que se arregla al revisar un plan.

Recorre la columna de criterios y localiza el que depende de la opinión de quien mira.

Contar casos por categoría es el primer vistazo a cómo está repartido el esfuerzo. La inyección de instrucciones, por ejemplo, se prueba por varios canales: lo que escribe el usuario, lo que trae un documento y lo que se escribe en un campo de formulario. Cada canal es un caso distinto porque falla por motivos distintos y se corrige en sitios distintos.

Cuenta las filas de la categoría de inyección de instrucciones en el plan.

Los casos del plan llevan una columna de repeticiones. No es un capricho: un modelo no responde igual dos veces, así que un solo intento no demuestra nada. Se repite cada caso en variantes y se mide una proporción. Además, el plan describe el objetivo y el criterio, no el texto de ataque: ese texto vive en la herramienta que lo genera, y lo que el informe debe conservar es qué se comprobó y con qué resultado, para que otra persona pueda repetirlo.