Monitoreo en producción y reentrenamiento seguro

En un modelo antifraude, la verdad llega tarde y solo para una parte: se sabe si una reclamación era fraude cuando alguien la revisa o cuando llega un reclamo tardío. De las que el modelo dejó pasar sin revisión, lo único que se sabe es que el modelo las dejó pasar. Si se etiquetan como legítimas por defecto y se usan para reentrenar, el modelo aprende que lo que ya no detecta es normal. Es un bucle de retroalimentación: cada versión ve un poco menos que la anterior, y quien haya encontrado el hueco lo encuentra cada vez más ancho.

Por eso las políticas serias separan la decisión del modelo de la etiqueta, y dan tiempo a que lleguen los reclamos antes de entrenar.

Una propuesta de reentrenamiento se revisa como un cambio de código: contra una política escrita, regla por regla, y con la evidencia en la mano. Una propuesta puede romper varias reglas a la vez, y cada incumplimiento se anota por separado, porque cada uno tiene su corrección.

Lee la política de reentrenamiento y la propuesta para [email protected]. Fíjate en cómo se etiquetan las filas que nadie revisó.

Una cuarentena de datos no es burocracia: es el tiempo que tardan en llegar los reclamos tardíos, que son justo los fraudes que el modelo no vio. Un dato que se usa antes de que acabe su cuarentena puede llevar la etiqueta equivocada sin que nadie lo sepa todavía.

Con la política y la propuesta, calcula desde qué fecha podrían entrar a un entrenamiento las reclamaciones del último día de datos de la propuesta.

Un monitor que da demasiadas alertas tiene un problema de ajuste, no de existencia. Apagarlo es la salida rápida y deja un hueco exactamente donde estaba la vigilancia. En la sala de robustez viste que el riesgo de tasador-fotos se concentra en las fotos que pasan a leve y se pagan sin perito; un monitor que compara, taller por taller, cuánto se paga sin perito es justo el que vería un abuso concentrado.

Revisa la lista de monitores en producción y busca el que está desactivado.

La precisión cae y el negocio quiere una versión nueva mañana. La propuesta tiene un motivo real, pero también etiquetas que vienen del propio modelo, datos sin cuarentena, un conjunto de comparación que no es el retenido fijo y una sola firma. Rechazarla no significa quedarse quieto: significa decir qué hace falta para aprobarla.