De la fuente al índice, paso a paso

Un evento no tiene una hora, tiene al menos tres. La primera es cuándo ocurrió, según el reloj de la fuente. La segunda es cuándo lo leyó el agente o el colector. La tercera es cuándo llegó al almacén, es decir, cuándo ya se puede buscar. En un esquema común como Elastic Common Schema los nombres son @timestamp, event.created y event.ingested.

Casi todas las reglas usan la primera, porque describe lo que pasó en el equipo. Pero la diferencia entre la primera y la tercera es la medida del retraso de la canalización: si esa diferencia crece, el SOC ve lo que ocurrió hace rato y cree que ocurre ahora.

El camino típico tiene siete etapas: generación (la fuente escribe el evento), recolección (un agente lo lee), transporte (viaja y alguien lo recibe), análisis (se separa el texto en campos), normalización (los campos toman los nombres de un esquema común), enriquecimiento (se le agrega contexto, como el país de una dirección) e indexación (se escribe en el almacén). Cada etapa es un componente distinto que puede fallar o demorarse por su cuenta.

Abre etapas en la consola. Cada fila trae el componente que hizo ese trabajo y la hora UTC en la que el evento pasó por ahí.

Con las horas de cada etapa se calcula el retraso: la hora a la que el evento llegó al almacén menos la hora a la que la fuente lo escribió. Todas las horas de etapas están en UTC, así que se pueden restar sin convertir nada. Conviene expresarlo en segundos para compararlo con otros eventos.

No todos los campos de un evento vienen de la fuente. Unos los escribe el equipo, otros los deja el agente, otros se calculan en la canalización. Saber quién agrega cada campo importa cuando uno aparece mal: si el país de una dirección es incorrecto, el error no está en el controlador de dominio.

La tabla campos_por_etapa dice qué componente deja cada campo.

Un agente suele guardar en disco lo que no puede enviar y reintentar cuando el destino vuelve. Mientras tanto la hora del evento no cambia: la fuente ya la escribió. Lo que cambia son las otras dos horas, que se van corriendo hacia adelante.