Alucinaciones de exploits y paquetes fantasma

Los modelos de lenguaje operan prediciendo el siguiente token más probable, no consultando una base de datos de verdades científicas. Si le preguntas «¿Cómo se explota el CVE-2024-XXXX?», el modelo puede redactar un script en Python con comentarios impecables, usando nombres de parámetros que suenan técnicos (target_uri, payload_offset) pero que corresponden a funciones que no existen en el software real. Confiar en la apariencia profesional de un código generado es el error más común del novato.

Investigadores de seguridad demostraron que los modelos sugieren con frecuencia nombres de paquetes inventados para resolver problemas cotidianos (por ejemplo, «instala la librería pip install aws-s3-secure-sync»). Ciberdelincuentes monitorizan qué nombres falsos inventan con frecuencia los modelos, van a los repositorios públicos (PyPI, npm) y registran esos paquetes con código malicioso. Si un desarrollador o auditor copia el comando sugerido por la IA e instala el paquete sin verificar, infecta su propia máquina.

Antes de instalar cualquier herramienta o librería recomendada por un modelo, el operador debe aplicar un protocolo estricto de verificación: 1) Comprobar la antigüedad y número de descargas del paquete en el registro oficial. 2) Revisar el repositorio de código fuente original, los colaboradores y las emisiones de cambios. 3) Inspeccionar el archivo setup.py o package.json en busca de scripts de post-instalación sospechosos que ejecuten comandos ocultos.

Incluso si una prueba de concepto (PoC) sugerida por la IA parece legítima, nunca debe correrse directamente en la máquina del auditor ni en la red del cliente sin aislamiento previo. Se ejecuta dentro de una máquina virtual descartable sin acceso a la red de producción, monitorizando llamadas a procesos y conexiones salientes para confirmar que el script solo hace lo que afirma hacer.