NIST AI RMF y la lista de riesgos de OWASP para LLM en el diseño

El marco de gestión de riesgos de inteligencia artificial de NIST (NIST AI RMF 1.0) organiza la gobernanza en cuatro funciones clave:

• Govern (Gobernar): Culturas, políticas y procesos de gestión del riesgo y rendición de cuentas.
• Map (Mapear): Contexto de negocio, impactos potenciales y categorización del sistema de IA.
• Measure (Medir): Métricas cuantitativas y cualitativas de precisión, alucinaciones, sesgo y robustez.
• Manage (Gestionar): Asignación de recursos y controles técnicos para mitigar riesgos priorizados.

Junto a NIST, el catálogo de OWASP para aplicaciones con LLM enumera las diez amenazas más críticas a nivel técnico (inyecciones, divulgación de datos confidenciales, agencia excesiva, denegación de servicio por costo).

El catálogo de OWASP clasifica las amenazas técnicas específicas de aplicaciones basadas en modelos de lenguaje.

Abre el laboratorio y lee mapeo-owasp-llm.txt. Identifica el código de riesgo OWASP correspondiente a Excessive Agency que se mitiga mediante herramientas acotadas y HITL.

La amenaza primaria que busca engañar al modelo mediante instrucciones manipuladas encabeza el listado de vulnerabilidades.

Revisa la tabla técnica y consulta el código de riesgo asignado a Prompt Injection en el estándar OWASP.

El arquitecto de seguridad utiliza estos marcos para transformar exigencias de gobierno en especificaciones técnicas de diseño antes de autorizar el pase a producción.