Extraer campos de un registro

Un grupo ( … ) guarda lo que casó dentro. Si lleva un nombre, (?<usuario>\S+), ese trozo se convierte en un campo con ese nombre. En SPL, el comando rex aplica un patrón al texto y crea un campo por cada grupo con nombre:

index=proxy | rex "^\S+ \S+ (?<usuario>\S+) (?<ip>\S+) "

Se lee de izquierda a derecha, igual que la línea: dos palabras que se ignoran (la hora y el equipo), una palabra que se guarda como usuario y otra que se guarda como ip. El patrón no sabe lo que es un usuario; solo cuenta palabras separadas por espacios, y por eso depende de que la línea siempre tenga esa forma.

Con los campos recién extraídos se pregunta lo de siempre. El patrón completo de una línea del proxy tiene nueve piezas; con él se suman los bytes de cada persona.

index=proxy | rex "^\S+ \S+ (?<usuario>\S+) (?<ip>\S+) (?<metodo>[A-Z]+) (?<dominio>\S+) (?<ruta>\S+) (?<estado>\d{3}) (?<bytes>\d+)$" | stats sum(bytes) as total by usuario | sort - total

\d{3} es el código de estado, tres dígitos, y [A-Z]+ es el método en mayúsculas. La persona que más bytes baja en total no tiene por qué ser la que hizo la descarga más grande: pesa la suma de todas sus peticiones.

En KQL la pieza es extract(patrón, grupo, texto): devuelve lo que casó el grupo número grupo, contando los paréntesis de izquierda a derecha, o vacío si no casa. Se usa dentro de extend, que añade columnas. Delante del patrón va una @, que significa «cadena literal» y evita duplicar cada barra invertida.

proxy
| extend estado = toint(extract(@" (\d{3}) \d+$", 1, Raw)),
         dominio = extract(@" (\S+\.example\S*) ", 1, Raw)
| where estado >= 400
| summarize veces = count() by dominio, estado
| sort by veces desc

Se queda con las peticiones que terminaron en error de cliente o de servidor y cuenta cuántas hubo por dominio y estado. No hace falta repasar las catorce líneas con la vista.

Un patrón escrito para una forma de línea no avisa cuando aparece otra: el campo queda vacío y el análisis sigue sin esa línea. La suma de la tarea 2 no sabe cuánto tráfico quedó fuera. La forma de enterarse es preguntar por los vacíos, con where isnull(estado):

index=proxy | rex "<el mismo patrón>" | where isnull(estado) | table _raw

Un analista que construye una extracción siempre hace esa pregunta antes de confiar en una cifra. Si el patrón pierde líneas, hay que ampliarlo, y una vez ampliado hay que repetir la pregunta.