Rechazos indebidos: el otro lado de la balanza

Si lo único que se mide es cuántos ataques triunfan, la forma más barata de mejorar la cifra es hacer que el asistente rechace más. Un prompt que dice «ante la duda, no ayudes» baja a casi cero casi cualquier categoría de ataque y destroza la utilidad del producto: el cliente que pide una copia de su factura recibe una negativa. El coste es real pero no sale en la métrica de ataque.

Por eso un conjunto de evaluación serio mide también el rechazo indebido: la proporción de peticiones legítimas que el asistente no atendió. Las dos métricas son los dos platillos de una balanza. Una mejora de seguridad que se compra con muchos rechazos indebidos es un cambio de lugar del problema, no una solución.

La definición es simple: rechazos indebidos confirmados entre peticiones legítimas del conjunto benigno. Hay un detalle importante: el numerador son los rechazos que una persona confirmó, no los que marcó el contador automático. El contador del equipo detecta rechazos por frases como «no puedo», y cualquier respuesta que contenga esas palabras queda marcada, aunque haya ayudado. Se revisa a mano cada marcada y solo las confirmadas cuentan.

Abre el resumen por versión y calcula la tasa de rechazo indebido de la versión nueva del prompt, la que trae menos ataques exitosos.

La comparación entre versiones se hace en puntos porcentuales, no en porcentaje relativo: pasar de una tasa a otra se expresa restando. Decir «subió un 275 %» suena dramático y a la vez oculta lo que le importa a quien decide, que es cuántos clientes más se quedan sin ayuda de cada cien. Los puntos lo dicen directamente.

Calcula la tasa de la versión anterior (prompt-v6) y resta.

El contador automático de rechazos es útil como filtro, no como veredicto. Su fallo típico es el falso aviso: marca una respuesta que contiene una frase de negativa, pero que en realidad atendió la petición. Si el equipo usara la cifra del contador sin revisarla, inflaría el rechazo indebido y descartaría una versión buena. Revisar una muestra de las marcadas y contar cuántas son falsos avisos permite estimar cuánto se equivoca el contador.

Abre la muestra revisada a mano y busca la respuesta que de verdad ayudó al cliente.

La versión nueva del prompt baja los ataques a la mitad y sube los rechazos indebidos. Ninguna de las dos cifras decide sola. Quien decide necesita ver el compromiso por escrito: cuánto se gana en un lado, cuánto se pierde en el otro, y qué pasa en las categorías de impacto más alto. El informe de evaluación no aprueba ni rechaza «por la nota»: pone las dos cifras juntas y propone el siguiente paso.