在这篇博文中，我们的目标是解决数据爱好者提出的一个常见问题：如何有效地从Polars DataFrame中创建汇总视图，以便在不同时间段或类别之间轻松进行比较。我们将使用一个实际的数据集示例来探索实现这一目标的各种方法。
Polars简介
Polars 是一个用 Rust 编写的高性能数据处理库，用于 Python 和 R 等语言。它在处理大型数据集时能够提供高效的数据处理能力，并且具有类似于 Pandas 的数据处理接口，方便数据科学家和分析师使用。
性能优势
并行计算：Polars 能够利用多核处理器进行并行计算。例如，在进行数据聚合操作（如计算列的平均值、总和等）或者数据筛选操作时，它可以将任务分配到多个核心上同时执行，大大提高了计算速度。相比传统的数据处理库，在处理大规模数据时这种并行计算的优势更加明显。
高效的内存管理：它对内存的使用非常高效，通过优化数据存储结构和算法，减少了不必要的内存占用。例如，在处理包含大量重复数据或者稀疏数据的数据集时，Polars 能够以更紧凑的方式存储数据，从而节省内存资源，并且能够更快地进行数据读写操作。
编译时优化：由于是用 Rust 编写，在编译阶段就可以进行许多性能优化。Rust 的编译器能够对代码进行诸如消除冗余计算、优化循环等操作，使得生成的机器码在执行时能够更高效地处理数据。
适用场景
大数据处理：在处理海量数据（如日志数据、物联网数据等）时，Polars 的高性能和高效内存管理能够发挥巨大优势，快速地进行数据清洗、转换和分析。
数据科学和分析：无论是进行探索性数据分析、数据建模还是数据可视化的前期数据处理，Polars 都可以作为一个高效的数据处理工具，帮助数据科学家更快地获取数据洞察。
数据管道构建：在构建数据管道时，需要对数据进行一系列的转换和处理操作。Polars 的高效性和丰富的数据操作方法使其成为构建数据管道的有力工具，可以确保数据在不同处理阶段的快速流动和处理。
数据聚合与旋转案例
为了说明聚合和旋转技术，让我们考虑一个简单的数据集。该数据集在几个月内跟踪不同渠道的发送和唯一id。这是我们初始数据集的样子：
import polars as pl
df = pl.DataFrame({
"Channel": ["X", "X", "Y", "Y", "X", "X", "Y", "Y", "X", "X", "Y", "Y", "X", "X", "Y", "Y"],
"ID": ["a", "b", "b", "a", "e", "b", "g", "h", "a", "a", "k", "a", "b", "n", "o", "p"],
"Month": ["1", "2", "1", "2", "1", "2", "1", "2", "1", "2", "1", "2", "1", "2", "1", "2"]
})
转换目标
我们的目标是聚合数据并计算值，例如每个通道和每个月的唯一id数量和发送总数，并以一种方便进行月与月比较的方式显示它们。
所需的格式是数据透视表，显示不同的聚合功能，如“唯一ID”和“总发送”，每月作为列：
| Channels | agg_func | 1 | 2 |
|----------|-------------|---|---|
| X | Uniques ID | 3 | 3 |
| X | Total sends | 4 | 4 |
| Y | Uniques ID | 4 | 3 |
| Y | Total sends | 4 | 4 |
实现转换
- 使用
Pivot和Aggregate函数
使用polar实现这一目标的强大方法是利用pivot函数与聚合函数相结合来生成所需格式。下面将深入介绍如何有效地执行这些操作。
pv = df.pivot(
on="Month",
values="ID",
aggregate_function=
pl.concat_list(
pl.element().n_unique().alias("value"),
pl.element().count().alias("value")
)
).with_columns(agg_func=["Uniques ID","Total sends"]).explode(pl.exclude("Channel"))
pv
该脚本在“Month”列上执行旋转操作，其中多个聚合函数连接在一个列表中。将结果展开，以便分离每个聚合值，输出结果如下：
shape: (4, 4)
┌─────────┬─────┬─────┬─────────────┐
│ Channel ┆ 1 ┆ 2 ┆ agg_func │
│ --- ┆ --- ┆ --- ┆ --- │
│ str ┆ u32 ┆ u32 ┆ str │
╞═════════╪═════╪═════╪═════════════╡
│ X ┆ 3 ┆ 3 ┆ Uniques ID │
│ X ┆ 4 ┆ 4 ┆ Total sends │
│ Y ┆ 4 ┆ 3 ┆ Uniques ID │
│ Y ┆ 4 ┆ 4 ┆ Total sends │
└─────────┴─────┴─────┴─────────────┘
- 使用多个Pivot 函数
另一种方法（手动但有效）是为每个想要应用的聚合函数执行单独的枢轴：
pl.concat([
df.pivot(
on="Month",
values="ID",
aggregate_function=agg_func
).with_columns(
pl.lit(agg_func_name).alias("agg_func")
)
for agg_func, agg_func_name in [
(pl.element().n_unique(), "Uniques ID"),
(pl.element().count(), "Total sends")
]
])
数据结果如下：
shape: (4, 4)
┌─────────┬─────┬─────┬─────────────┐
│ Channel ┆ 1 ┆ 2 ┆ agg_func │
│ --- ┆ --- ┆ --- ┆ --- │
│ str ┆ u32 ┆ u32 ┆ str │
╞═════════╪═════╪═════╪═════════════╡
│ X ┆ 3 ┆ 3 ┆ Uniques ID │
│ Y ┆ 4 ┆ 3 ┆ Uniques ID │
│ X ┆ 4 ┆ 4 ┆ Total sends │
│ Y ┆ 4 ┆ 4 ┆ Total sends │
└─────────┴─────┴─────┴─────────────┘
- 旋转之前分组
或者，你可以首先使用group_by操作，在pivot之前基于“Month”和“Channel”预聚合数据：
(
df
.group_by("Month","Channel")
.agg(
pl.col("ID").n_unique().alias("Uniques ID"),
pl.col("ID").count().alias("Total sends")
)
.unpivot(index=["Month","Channel"], variable_name="agg_func")
.pivot(on="Month", values="value")
)
总结
使用这些方法，可以在polar中有效地转换和汇总大型数据集，从而提高你的数据分析能力。无论是使用聚合列表的pivot函数，还是执行多个pivot以提高清晰度，这些策略都可以增强输出的可读性和可用性，特别是在处理大容量数据时。
