Registros de gran volumen y muestreo: qué guardas de cada fuente

El muestreo guarda un evento de cada N y descarta el resto. Un factor «uno de cada 100» no es un detalle técnico: cambia lo que se puede afirmar. Con la muestra se estiman tendencias (cuánto tráfico hubo, qué ruta pidió más gente) porque, si el muestreo es parejo, la proporción se conserva. Lo que no se puede afirmar con una muestra es que algo no ocurrió: un evento raro puede haber caído justo en los noventa y nueve descartados.

Por eso el muestreo sirve para operar y para medir capacidad, y sirve poco para investigar. Quien investiga necesita saber si un hecho concreto sucedió, y una fuente muestreada solo responde «probablemente» cuando lo encuentra y «no sé» cuando no.

Para saber cuánto ocurre de verdad hay que multiplicar lo guardado por el factor de muestreo. Una fuente que guarda pocos eventos con un factor enorme puede representar más tráfico que otra que guarda muchos sin muestrear. Comparar solo la columna de eventos guardados engaña: es el volumen del almacén, no el de la red.

Abre el laboratorio, mira el inventario de fuentes y multiplica cada fila por su factor uno_de_cada.

Cada fuente tiene un plazo de conservación y cada política interna tiene un requisito. Cuando el plazo es menor que el requisito, el registro desaparece antes de que alguien lo pueda necesitar: una investigación que empieza a las tres semanas de un hecho encuentra la fuente ya borrada. El caso contrario, conservar más de lo exigido, es un gasto y quizá un riesgo de privacidad, pero no deja ciegos a los analistas.

En esta sala los plazos son los de una política ficticia de la empresa: en la vida real los fijan las normas aplicables y el área legal, no el equipo técnico.

La fuente de la tarea anterior guarda sus eventos con muestreo. Para dimensionar lo que no se ve hay que calcular cuántos eventos reales representa lo guardado cada día. El resultado se expresa en millones, igual que la columna de partida.

Con la cifra en la mano, el informe puede decir algo más útil que «hay muestreo»: puede decir cuántos eventos diarios quedan fuera de cualquier búsqueda.

Un hallazgo de registros termina en una petición concreta a quien opera la fuente. Hay tres caminos: ampliar el plazo, quitar el muestreo o descartar la fuente. Cada uno cuesta algo distinto, y la elección depende de para qué se necesita la fuente. Una fuente de acceso a contenido sirve para investigar abusos de cuentas y de derechos, así que ahí importan tanto el plazo como poder contar con el evento exacto.