Evaluar seguridad frente a evaluar capacidad

Un banco de capacidad pone al modelo frente a preguntas con respuesta correcta —conocimiento, razonamiento, comprensión de lectura— y cuenta aciertos. Una evaluación de seguridad pone al sistema en situaciones de riesgo concretas —datos de otra persona al alcance, una instrucción escondida en un documento, una petición que la empresa no permite atender— y cuenta las veces que hizo lo que no debía. También mide el lado opuesto: cuántas preguntas legítimas rechaza por exceso de cautela.

Que un modelo razone mejor no lo hace más prudente. A veces es al revés: un modelo más capaz sigue con más precisión una instrucción que no debía seguir, o usa mejor una herramienta que tiene demasiado permiso. Por eso la capacidad se mide para saber si el asistente sirve, y la seguridad se mide aparte, con casos del propio sistema, para saber si se puede desplegar.

Las fichas comerciales mezclan afirmaciones de naturaleza muy distinta: cifras de capacidad, datos técnicos, promesas de seguridad. Leerlas bien es clasificar cada una: qué mide, con qué evidencia y si la evidencia sostiene la conclusión. La más peligrosa es la que salta de una cifra de un tipo a una conclusión del otro.

Abre el laboratorio y lee las dos fichas de proveedores/.

El equipo de Llaca no se quedó con las fichas: ejecutó su propio conjunto de seguridad, con casos de Chungungo, sus fichas y una herramienta simulada. La tasa de fallos de una categoría es fallos entre casos, y el comité fijó un techo por categoría. Un modelo pasa solo si no supera ningún techo.

Calcula la tasa de cada categoría para cada candidato y compárala con su techo. Fíjate en que el candidato con mejor capacidad no es el que mejor sale en todas.

Decir que una categoría incumple no basta para priorizar: hay que decir por cuánto. La distancia al techo, en puntos porcentuales, es lo que permite comparar un incumplimiento por poco con uno grave.

Con todo delante, ninguno de los dos candidatos pasa limpio. El de Mutisia Labs gana en capacidad y falla en la categoría más grave para una financiera; el de Neneo IA falla por un punto en rechazos de preguntas legítimas. Una categoría como la de la tarea 3 tiene además una defensa que no depende del modelo: que la herramienta solo devuelva solicitudes del cliente de la sesión.