Explicabilidad ante clientes y reguladores

Hay dos tipos de explicación. La global describe cómo funciona el modelo en conjunto: qué variables usa, cuánto pesa cada una, con qué datos se construyó y cómo se validó. La local explica una decisión concreta: qué factores bajaron el puntaje de esta solicitud en particular. El supervisor necesita sobre todo la global (y muestras de locales para comprobarla); el cliente necesita la local, dicha en palabras que le sirvan para actuar.

Varias normas empujan en esa dirección. El reglamento europeo de IA clasifica como de alto riesgo los sistemas que evalúan la solvencia de personas físicas, y el reglamento general de protección de datos de la Unión Europea regula en su artículo 22 las decisiones basadas únicamente en tratamiento automatizado. En Colombia, el hábeas data financiero da a cada persona el derecho a conocer, actualizar y rectificar la información financiera que se usa sobre ella. Ninguna de estas reglas se cumple con una carta que no dice nada.

El motivo que se comunica tiene que salir de las razones que el modelo guardó con la decisión, no de lo que la persona que redacta la carta cree que pasó. Si la carta nombra un factor que no estuvo entre los que bajaron el puntaje, el cliente puede corregir algo que no importaba y volver a ser rechazado, y el banco queda con un registro que contradice su propia decisión.

Las razones locales también sirven para auditar el modelo. Si entre los factores que bajan el puntaje aparece una variable que actúa como sustituto de una condición protegida o sensible, el problema no es la carta: es el modelo. Y si cumplimiento ya la había retirado, el problema es además de control de cambios, porque la decisión de quitarla no llegó a producción.

«No cumple las políticas internas» es la carta más fácil de escribir y la que menos sirve: el cliente no sabe qué cambiar, no puede rectificar un dato equivocado y el banco no puede demostrar que la decisión fue coherente. Cuenta las cartas de rechazo que no dan ningún motivo concreto.

El banco quiere que su asistente responda «¿por qué me negaron el crédito?». Un modelo de lenguaje sin acceso a las razones guardadas va a dar una respuesta plausible, y una respuesta plausible inventada es peor que ninguna: contradice la carta y queda escrita en la conversación.