Evaluación de impacto de un asistente con LLM

El marco del NIST pide, al mapear un sistema, entender y documentar sus propósitos previstos, sus usos beneficiosos, las leyes aplicables y los entornos de despliegue, incluidos los usuarios y los posibles impactos positivos y negativos sobre personas, comunidades, organizaciones y sociedad (MAP 1.1). La norma ISO/IEC 42001 trata la evaluación de impacto de un sistema de IA con el mismo ánimo: pide un proceso para evaluar las consecuencias del sistema para las personas, los grupos y la sociedad, y no solo para la organización que lo opera. ISO/IEC 42005, publicada en 2025, es la guía específica sobre cómo hacer esa evaluación.

La diferencia con un análisis de riesgos tradicional es de punto de vista: el riesgo clásico pregunta qué le puede pasar a la empresa; la evaluación de impacto pregunta qué le puede pasar a quien usa o sufre el sistema.

Cántaro puntúa cada impacto multiplicando la probabilidad por la magnitud, ambas en una escala de 1 a 5. Ni el marco del NIST ni la norma ISO fijan esa escala ni el umbral: son criterios propios de la empresa, y por eso se escriben en el documento. Cántaro considera «alto» un impacto de 15 o más y, en ese caso, exige evaluación completa y aprobación de un área determinada.

Abre los criterios y los impactos. Entre los impactos que son daños, busca el único que alcanza el umbral. Cuidado: hay un beneficio que también llega a 15, y un beneficio no es un daño.

El impacto IM-03 es un beneficio: los asegurados conocen el estado de su reclamo sin esperar al centro de contacto. Es un buen impacto y debe documentarse, porque justifica que el sistema exista. Pero hay una tentación frecuente: usarlo para bajar el puntaje de los daños y quedar por debajo del umbral, como si la comodidad de la mayoría compensara el perjuicio de unos pocos.

Los daños recaen sobre personas concretas. Quien no logra usar el canal digital (IM-06) no recibe el beneficio de IM-03, y el que recibe una respuesta incorrecta sobre su cobertura (IM-01) puede perder su reclamo. Los beneficios y los daños se documentan por separado y cada daño se trata por su cuenta.

Un criterio solo sirve si dice qué ocurre cuando se cumple. Los criterios de Cántaro lo dicen: un impacto alto exige evaluación completa y aprobación de un área concreta de la empresa, no del equipo que construyó el sistema. Esa separación es la que da sentido a la evaluación: el equipo de producto propone, otro nivel decide si el riesgo es aceptable.

Un auditor lee el umbral de 15 y pregunta de dónde sale. Hay una respuesta honesta y varias que suenan técnicas. La honesta: es un criterio de Cántaro, aprobado por la dirección, que se justifica con su apetito de riesgo y se revisa cuando el modelo, los datos o las herramientas cambian. El marco del NIST y la norma ISO piden que la organización defina sus criterios y los documente; no le dicen cuál debe ser el número.

Atribuirle el 15 al NIST o a la ISO es un error de fondo: le quita al comité la responsabilidad de justificar su propia decisión.