Usos de IA en educación

En educación, el riesgo de un sistema con IA no depende de lo avanzado que sea el modelo, sino de dos cosas: qué le pasa al estudiante con la salida y quién es ese estudiante. Un tutor que explica fracciones puede equivocarse y el daño es una explicación que hay que corregir. Un sistema que asigna a un estudiante al grupo de refuerzo, que pone una nota o que decide quién entra a un programa toca su trayectoria escolar, y casi siempre se trata de menores de edad, que no pueden discutir una decisión en igualdad.

El reglamento europeo de IA (Reglamento (UE) 2024/1689) recoge esa idea en su anexo III: trata como de alto riesgo los sistemas que deciden la admisión a un centro educativo, los que evalúan resultados de aprendizaje, los que estiman el nivel educativo al que accederá una persona y los que vigilan conductas prohibidas durante un examen. Aunque una organización no esté sometida a ese reglamento, su lista es una buena guía para ordenar un inventario.

Quien registra un sistema en un inventario le pone una categoría, y suele elegir la más tranquila: «apoyo docente», «apoyo al aprendizaje». La categoría no cambia lo que el sistema hace. Lo que importa es si una persona revisa de verdad la salida antes de que llegue al estudiante o si la salida llega sola cuando nadie actúa. Un sistema que decide por defecto —publica, asigna, sanciona— cuando nadie lo detiene no es apoyo: es quien decide.

Consulta SELECT * FROM inventario y SELECT * FROM funciones. Lee la columna de efecto y las funciones activas, no la categoría declarada.

Algunos usos no se arreglan con revisión humana porque el problema es el uso mismo. El reglamento europeo prohíbe, en su artículo 5, los sistemas que infieren emociones de las personas en centros educativos y lugares de trabajo, salvo por motivos médicos o de seguridad: la base científica de esas inferencias es débil, y usarlas sobre estudiantes —que no pueden negarse— abre la puerta a decisiones injustas. Muchas organizaciones adoptan esa prohibición como regla propia aunque no les aplique directamente.

Un sistema puede estar bien en su función principal y traer activada una función adicional que cruza esa línea. Por eso el inventario se revisa función por función.

Una evaluación de impacto antes de producción es el punto en que alguien se pregunta qué puede salir mal para el estudiante, a quién afecta más y qué control lo frena. La regla interna de Cayena define qué es de alto impacto por lo que el sistema hace, no por la categoría que le pusieron. Cruza el inventario con el registro de evaluaciones (SELECT * FROM evaluaciones): cuenta solo los sistemas en producción.

Tienes que proponer al comité de IA de Cayena las dos primeras acciones del trimestre con lo que viste en el inventario.