Ciclo de vida de un modelo clásico y sus riesgos

Un modelo clásico de aprendizaje automático —una red que clasifica imágenes, un bosque de árboles que puntúa una fila de datos— se fabrica en etapas: se recogen ejemplos, se etiquetan, se entrena, se valida con datos que el modelo no vio, se guarda el artefacto, se despliega detrás de una API, se vigila lo que le llega y, un día, se retira. Cada etapa tiene su propio riesgo. Fotos de origen dudoso en la recolección, etiquetas mal puestas, una validación que se hace trampa a sí misma, un artefacto sin huella, una API demasiado abierta, nadie mirando las entradas, una versión vieja que sigue respondiendo.

Y hay una pieza que no está en el modelo pero decide el daño: la regla de negocio que usa su salida. Si una clase «leve» paga sin perito, cualquier error del modelo hacia esa clase se convierte en dinero.

Un ciclo de vida escrito sirve para una cosa muy concreta: ver de un vistazo qué etapa no tiene dueño ni control. Una etapa sin responsable no se ejecuta mal; simplemente no se ejecuta, y nadie se entera hasta que el problema ya está en producción.

Abre el archivo de etapas de tasador-fotos y busca la que no tiene responsable asignado.

La exactitud de un modelo solo dice algo si se midió con datos que el modelo no vio al entrenar. Si el conjunto de validación está dentro del de entrenamiento, el modelo responde de memoria y la cifra sale inflada: parece mejor de lo que será con datos nuevos. Es uno de los errores más comunes del ciclo y no deja rastro en el modelo, solo en el registro: hay que comparar con qué se entrenó y con qué se validó.

Un salto grande de exactitud entre una versión y la siguiente, sin un cambio de datos o de método que lo explique, es una buena razón para hacer esa comparación.

Una cifra de validación contaminada no prueba que el modelo sea malo; prueba que no se sabe cómo es. Lo honesto es tratar la cifra como no demostrada y medir otra vez con un conjunto que el modelo nunca vio, idealmente posterior a sus datos de entrenamiento, y que esa nueva medición pase por la misma aprobación que el resto. Retirar el modelo sin más o aceptar la cifra porque el modelo «funciona» son las dos salidas fáciles, y ninguna de las dos se apoya en evidencia.

Fíjate también en quién aprobó esa versión y compáralo con las demás filas del registro.