LLM09 y LLM10: desinformación y consumo sin límites

La desinformación (LLM09) agrupa dos cosas. Por un lado, el modelo produce afirmaciones falsas o sin base con el mismo tono con el que acierta. Por otro, el sistema o las personas confían en esas afirmaciones sin comprobarlas. La entrada pide revisar ambas: cuánto de lo que se afirma tiene respaldo en una fuente, y qué hace el diseño cuando no lo tiene.

Los controles habituales son anclar la respuesta en documentos recuperados y comprobar que lo citado existe y dice lo que se afirma, avisar al usuario cuando no hay respaldo, y llevar a una persona las decisiones que tienen consecuencias. Un prompt que pide «no inventar» ayuda poco: no le da al modelo un dato que no tiene.

Abre la muestra de afirmaciones. Cada una se revisó contra lo que se recuperó en ese caso. Cuenta como sin respaldo toda afirmación que no tiene una fuente que la sostenga, incluida la que la fuente contradice.

No todas las afirmaciones sin respaldo pesan lo mismo. Que el modelo diga algo que no se pudo comprobar es un problema; que diga lo contrario de lo que la fuente recuperada dice es peor, porque el sistema tenía el dato correcto delante. Ese caso apunta a que falta una comprobación entre lo recuperado y lo afirmado.

El consumo sin límites (LLM10) se revisa en la configuración: tamaño de entrada y de salida, consultas por usuario, tope de gasto, y los límites de las tareas que el asistente encadena solo. Este último enlaza con la agencia excesiva: un agente que puede repetir pasos sin tope consume sin medida aunque nadie lo pida, por un bucle o por una orden que lo empuja a seguir.

Abre la tabla de límites de Murta y busca el parámetro del agente que no tiene tope.

La otra fila sin límite es la cuota de las cuentas de integración, y el consumo de la semana muestra una de esas cuentas con un patrón llamativo: consultas sin conversación que recorren en orden todas las combinaciones posibles. Además del costo, ese patrón es la señal típica de quien intenta reconstruir el comportamiento del modelo a partir de sus respuestas, que la entrada LLM10 también cubre. La defensa es la misma: cuota por cuenta y vigilancia del patrón.

Calcula cuánto costó esa cuenta en la semana.