Usos y límites de la IA en servicios públicos

En un servicio público conviene clasificar cada sistema de IA por lo que hace con la persona, no por la tecnología que usa. No es lo mismo un asistente que explica qué documentos lleva una licencia que un sistema que rechaza una solicitud de subsidio. El primero informa: si se equivoca, la persona pierde tiempo y puede preguntar a un funcionario. El segundo decide sobre un beneficio: si se equivoca, un hogar se queda sin ayuda y quizá ni sabe por qué.

Entre los dos extremos hay grados: sistemas que apoyan a un funcionario (transcribir un acta), que enrutan (mandar una queja a la dependencia correcta) o que proponen (sugerir una visita de inspección). Cuanto más cerca está el sistema de decidir sobre un derecho, un beneficio o una sanción, más controles pide: revisión humana antes de notificar, explicación a la persona y un canal para reclamar.

El primer barrido de un inventario busca justo eso: los sistemas cuyo efecto es decidir y lo que ocurre entre la decisión y la persona. Si entre el modelo y el correo que recibe el ciudadano no hay nadie, la decisión la tomó el sistema, aunque la ficha diga otra cosa.

Un asistente conversacional puede respetar su límite en el diseño y saltárselo en la práctica. Basta con que su base de trámites tenga una regla («la exención es desde cierta edad») para que el modelo la aplique por su cuenta y le diga a alguien que su solicitud no procede. Eso ya no es orientar: es negar un trámite sin un funcionario y sin acto administrativo. Por eso la oficina de atención revisa muestras de conversaciones y no solo la configuración.

Una entidad pública solo puede hacer lo que una norma le permite, y eso incluye usar un sistema automatizado en un trámite. Por eso el lineamiento pide que cada sistema en producción tenga el acto administrativo que autoriza su uso. Un piloto puede no tenerlo todavía, siempre que trabaje con datos de prueba o con una evaluación de impacto aprobada; un sistema que ya atiende casos reales, no.

Apagar un sistema que decide mal es una opción, pero no la única: muchas veces el ordenamiento que propone es útil y lo que falla es que nadie lo revisa y que la persona no puede reclamar. La salida razonable mantiene lo útil y pone a una persona con nombre entre el modelo y la notificación.