Deriva de datos y de concepto: detección

La deriva de datos es un cambio en lo que entra: la proporción de reclamaciones por canal, la hora del reporte, la edad de los vehículos. Se ve sin esperar a saber la verdad, comparando cómo se reparte cada variable hoy con cómo se repartía en el entrenamiento. Un índice común para esa comparación es el índice de estabilidad de la población: cero es idéntico, y cuanto más alto, más distinto.

La deriva de concepto es otra cosa: lo que entra puede parecerse mucho a lo de antes, pero la relación entre esos datos y la respuesta correcta cambió. Un grupo de fraude que aprende a presentar reclamaciones que se ven normales no mueve casi ninguna variable y, sin embargo, el modelo empieza a fallar. Esa deriva solo se ve en el rendimiento, y el rendimiento llega tarde, porque hace falta esperar la etiqueta verdadera.

Un índice de estabilidad por variable sirve para dos cosas: avisar y señalar. Avisar, cuando cruza un umbral; señalar, porque dice exactamente qué variable cambió. Una política sensata tiene dos umbrales: uno a partir del cual se mira y otro a partir del cual se actúa. Bandurria tiene los dos escritos en el propio panel.

Consulta la tabla de estabilidad y busca la variable que en la semana 40 supera el umbral de acción.

Una deriva de datos no es un incidente por sí misma. Muchas veces la explica algo que el negocio hizo a propósito: un formulario nuevo, una campaña, un canal que se abre. Lo primero es buscar esa explicación en los eventos del negocio; si existe, el trabajo es decidir si el modelo sigue siendo válido para la nueva mezcla de datos. Si no existe, la deriva es una pregunta abierta, y una pregunta abierta en un modelo antifraude se investiga.

Consulta los eventos de negocio y busca el que coincide con la semana y con la variable que se movió.

El rendimiento de un modelo antifraude se mide sobre lo que se revisa: de las reclamaciones que el modelo envió a revisión, cuántas resultaron fraude confirmado. Es una medida incompleta, porque de lo que el modelo dejó pasar no hay etiqueta hasta que llega un reclamo tardío, pero es la que existe cada mes y su tendencia importa.

Consulta el rendimiento mensual y calcula cuántos puntos de precisión se perdieron entre el mejor mes del periodo y septiembre.

Ahora tienes las dos piezas a la vista: una variable que se movió a finales de septiembre por una razón conocida, y un rendimiento que empezó a caer en agosto, semanas antes, cuando la tabla de estabilidad todavía estaba en calma. Lo que se decide depende de leerlas juntas y en orden.