Fallas de diseño y de supervisión

Las causas de un caso como este se ordenan en dos familias. Las fallas de diseño están en cómo se construyó el sistema: qué documentos lee, qué hace cuando no encuentra respaldo, sobre qué temas puede contestar con texto libre, cuándo pasa la conversación a una persona. Las fallas de supervisión están en cómo se vigilaba el sistema ya en marcha: qué se revisaba, con qué criterio, qué alertas existían y quién las leía.

La distinción importa porque cada familia pide un tipo de corrección distinto. Una falla de diseño se corrige cambiando el sistema; una de supervisión se corrige cambiando lo que hacen las personas y los procesos alrededor. Un informe que mezcla las dos termina proponiendo solo «más capacitación» o solo «otro modelo», y ninguna de las dos cosas basta.

Un asistente con recuperación de documentos busca primero los fragmentos más parecidos a la pregunta. Si ninguno pasa un umbral mínimo de parecido, el diseño tiene que decidir qué hacer: decir que no tiene esa información y ofrecer una persona, o dejar que el modelo conteste con lo que «sabe». La segunda opción es la que produce respuestas seguras, fluidas y sin nada detrás.

Esa decisión casi siempre es un parámetro de configuración, y casi siempre se tomó en el piloto para que el asistente «no se quedara callado».

Muchas organizaciones sí tenían una forma de ver el problema y la apagaron. Las alertas sobre texto generado son ruidosas al principio: en la semana de lanzamiento disparan con cada conversación, alguien las silencia «mientras tanto» y el mientras tanto dura meses. Silenciar una alerta es una decisión de supervisión que debería tener fecha de revisión y dueño, como cualquier excepción.

La causa de la respuesta del plazo de 30 días no está en el modelo: está en un cambio de la política que no llegó completo al índice. Jurídica publicó la versión nueva, alguien abrió un ticket para cargarla y retirar la vieja, se hizo la mitad y el ticket quedó abierto. Ese tipo de cadena solo se ve leyendo el registro de cambios contra el índice de fuentes.

La revisión de calidad existía: cada semana alguien leía una muestra de conversaciones. El problema es qué se medía. Una rúbrica que puntúa el tono, la rapidez y si se resolvió sin pasar a una persona premia justo a la respuesta segura y equivocada: es amable, es rápida y no escala. La exactitud frente a la política tiene que ser un criterio propio, con la política vigente a la mano de quien revisa.