Evaluar con datos etiquetados

La matriz de confusión cuenta cuatro cosas: verdaderos positivos (maliciosos que el modelo marcó), falsos positivos (benignos que marcó), falsos negativos (maliciosos que no marcó) y verdaderos negativos. La precisión es la fracción de lo marcado que era malicioso: VP / (VP + FP). La sensibilidad es la fracción de lo malicioso que se marcó: VP / (VP + FN). La exactitud es la fracción de todos los eventos bien clasificados, y con datos donde casi todo es benigno es una cifra casi siempre alta, incluso para un modelo que no detecta nada.

En esta organización cada evaluación tiene 10 000 eventos y 100 maliciosos.

Abre matrices. La evaluación B se hizo con eventos de semanas posteriores al entrenamiento, que es lo que el modelo verá en producción. Calcula su precisión: de todo lo que marcó, qué porcentaje era realmente malicioso. Es la cifra que le importa a quien atiende las alertas.

Las dos evaluaciones dan resultados muy diferentes con el mismo modelo. campanas_compartidas dice cuántas de las campañas maliciosas de cada conjunto de prueba ya aparecían en el entrenamiento. Si casi todas ya estaban, el modelo no está generalizando: está reconociendo lo que ya vio, y la cifra sobreestima lo que hará con campañas nuevas.

Todo lo anterior supone que las etiquetas son correctas. calidad_de_etiquetas dice que dos analistas etiquetaron las mismas 100 muestras, en cuántas coinciden y cómo se resolvió el desacuerdo. Si dos personas expertas no coinciden siempre, la «verdad» contra la que se mide el modelo tiene un margen de error propio, y una métrica con dos decimales promete más precisión de la que tienen los datos.

El proveedor del modelo presentó con orgullo la evaluación A. Tu informe va a decidir si el modelo pasa a producción en un equipo que atiende cada alerta a mano. Hay una cifra que corresponde a las condiciones de producción, y hay una que se debe acompañar de una advertencia.