Qué es una confabulación y por qué ocurre

Un modelo de lenguaje genera texto eligiendo, palabra a palabra, una continuación probable para lo que tiene delante. Probable no es lo mismo que cierto: el modelo no consulta un registro de hechos ni sabe qué ignora. Cuando le falta el dato, la continuación más probable sigue teniendo forma de respuesta, con cifras, nombres y fechas, y con el mismo tono de seguridad que una respuesta correcta.

A eso se le llama confabulación: contenido falso o erróneo presentado con aplomo, que puede engañar a quien lo lee. En el habla común se le dice «alucinación», pero el perfil de IA generativa del NIST (NIST AI 600-1, julio de 2024) prefiere el término confabulación y lo cuenta entre sus doce riesgos; el propio documento recoge la objeción de que hablar de alucinar le atribuye al sistema rasgos humanos. Por la misma razón aquí no se habla de que el modelo «mienta»: no hay intención. Hay un sistema que produce texto plausible y una organización que decide cuánto se fía de él.

La causa más directa de una confabulación en un asistente con recuperación de documentos es que la búsqueda no encuentre nada y el modelo responda igual. Sin fragmento, el modelo rellena con lo que le parece típico para esa pregunta: una cifra redonda, un plazo habitual en el sector, la condición de otro plan. Por eso el número de fragmentos recuperados es una de las primeras cosas que se miran al revisar una respuesta sospechosa.

Abre la muestra de conversaciones de Chirihue y busca la que dio un dato concreto sin que la búsqueda devolviera ningún fragmento de las condiciones.

Hay causas que no están en el modelo sino en lo que se le pide. Si las instrucciones de sistema castigan el «no lo sé», piden un tono siempre seguro o premian la respuesta completa por encima de la exacta, el sistema aprende a rellenar. Ocurre a menudo cuando un equipo de producto ajusta el asistente mirando solo la satisfacción en encuestas: una respuesta que admite no saber puntúa peor que una inventada, hasta que la inventada llega a un reclamo.

Lee las instrucciones de Chirihue y localiza la que empuja al modelo a contestar aunque no tenga la condición delante.

Distinguir la causa importa porque cada una se corrige en un sitio distinto. Si la búsqueda no trajo nada y el modelo inventó, la corrección está en qué hace el sistema cuando no hay fuente. Si la búsqueda trajo el documento equivocado y el modelo lo repitió con fidelidad, el modelo hizo su trabajo: el fallo está en la recuperación, que no filtró por el plan de la persona. Y si el documento estaba desactualizado, el fallo está en el índice. Las tres terminan en una respuesta falsa; solo la primera es una invención del modelo.

Lee la conversación CQS-2204 y lo que dice de ella la revisión de calidad.