Qué entra por cada modalidad

Un modelo multimodal no tiene un canal aparte, más seguro, para las imágenes o el audio. Cada entrada se convierte —por un componente previo o por el propio modelo— en algo que entra al mismo contexto que las instrucciones del sistema. Un PDF llega como el texto que saca un extractor; una foto, como lo que el modelo de visión ve en ella, incluido cualquier texto escrito; una nota de voz, como su transcripción. El problema raíz del módulo 2 sigue intacto: lo que entra como dato puede leerse como orden.

Lo que cambia es la superficie. Cada modalidad suma un convertidor con sus propios errores y un sitio donde el contenido puede decir algo distinto de lo que ve una persona. Por eso el primer trabajo de quien defiende es un inventario: qué entra, quién lo manda, por qué componente pasa y qué control tiene antes de llegar al modelo.

No todas las entradas de una misma modalidad corren el mismo riesgo. Una foto del daño y una captura de pantalla de una conversación son las dos imágenes, pero la segunda es casi siempre texto escrito por otra persona: lo que diga ese chat llega al modelo de visión como contenido legible. Si además entra sin ningún control previo, es una vía directa de texto de terceros al contexto.

Consulta el inventario de entradas y cruza dos columnas: cómo llega cada entrada al modelo y qué control tiene antes.

El origen importa tanto como la modalidad. Lo que produce el personal propio puede equivocarse, pero no está en manos de alguien que quiera engañar al asistente; lo que mandan un cliente o una empresa aliada sí puede estarlo. Un inventario útil separa las entradas por quién las envía, porque las que vienen de fuera son las primeras que necesitan un control.

Cuenta en el inventario las entradas que envía alguien de fuera de Pilpilén y que llegan al modelo sin ningún control previo.

Cuando todos los componentes entregan su texto al modelo principal juntos y sin anotar de dónde viene cada parte, el modelo no tiene forma de distinguir la frase del formulario del cliente de la frase que venía escrita en la captura del chat. Tampoco la tiene quien investiga después. Anotar la procedencia no vuelve fiable lo que se lee, pero permite tratar cada fragmento según su origen y reconstruir qué entrada causó una respuesta.