Riesgos del OWASP para LLM, lectura

La lista OWASP Top 10 para aplicaciones con LLM (edición 2025) enumera diez categorías, de LLM01 a LLM10. Abre SELECT * FROM catalogo_riesgos: la columna «idea» es una paráfrasis escrita para esta sala, no el texto oficial; consulta la fuente de OWASP para la definición completa.

La lista sirve para tres cosas: nombrar un hallazgo con un código que otros entienden, comprobar que una revisión no olvidó una categoría y comunicar riesgos a quien no es técnico. No sirve como lista de controles que se «cumplen» y tampoco como prueba de que una aplicación es segura: una aplicación puede tener un hallazgo que no encaje bien en ninguna categoría.

Abre SELECT * FROM hallazgos y lee el hallazgo h-02: una herramienta que el asistente puede usar sin que una persona confirme. El riesgo no está en que el modelo se equivoque, sino en que su equivocación tenga consecuencias directas porque tiene permisos de más. El catálogo tiene una categoría para esto.

El hallazgo h-03 muestra una respuesta del modelo en una página interna como HTML sin sanear. La salida de un modelo es texto producido a partir de entradas que alguien controla en parte, así que debe tratarse como cualquier entrada no confiable: validarse y sanearse antes de mostrarse o de pasarse a otro sistema. El problema ya existía en la web con los datos de usuarios; el modelo es una fuente nueva del mismo tipo.

Priorizar es una decisión de quién responde, no del catálogo. Un criterio sencillo para empezar: severidad alta y todavía sin cerrar. El hallazgo h-07 era de severidad alta pero ya está cerrado, así que no compite por atención.

Filtra los hallazgos de severidad alta que no estén cerrados y cuenta cuántos hay.

Para el hallazgo h-02 alguien propone: «activemos el filtro que detecta órdenes al modelo en la entrada, y listo». El filtro ayuda con un tipo de entrada, pero el hallazgo dice otra cosa: la herramienta se ejecuta sin una persona que confirme y con un alcance que quizá es mayor del necesario.