Formatos en columnas

En un formato por filas, los campos de un evento viven juntos: para sumar una columna hay que recorrer también todas las demás. En un formato en columnas, los valores de cada columna se guardan seguidos y se comprimen juntos, y quien consulta lee únicamente las columnas que nombra. En Parquet, además, el archivo se parte en grupos de filas, y el pie del archivo guarda la ubicación de cada columna dentro de cada grupo.

El ahorro depende de cuántas columnas toca la consulta y de cuánto pesan. Una consulta que pide todo, SELECT *, vuelve a leer el archivo entero.

Abre columnas_del_archivo. La columna con el evento original guardado como texto suele pesar más que todas las demás juntas, porque es texto largo y casi sin repetición, que se comprime poco. Quien la conserva por si acaso paga ese peso en cada día del lago.

consultas_tipicas lista qué columnas toca cada consulta de uso corriente. Suma lo que pesan en columnas_del_archivo las tres de la consulta de fallos por usuario. Es la cantidad de megabytes que habría que leer del archivo, frente a la suma de todas sus columnas.

Cada grupo de filas guarda en su pie la hora mínima y la máxima de sus filas. Una consulta de la ventana de 10:00 a 10:59 puede descartar sin leerlos los grupos cuyo rango no la toca. Si los eventos llegaron casi en orden, los rangos casi no se solapan y se descartan muchos; si llegaron revueltos, cada grupo abarca horas enteras y no se descarta ninguno. Un grupo se lee si su rango y la ventana se tocan en algún punto.