Pandas DataFrame多列批量加减运算：高效实现策略

本教程详细介绍了在pandas dataframe中对多列执行批量加减运算的两种高效策略。我们将探讨如何利用dataframe.eval()方法执行简洁的多行表达式计算，以及如何通过链式向量化操作（如add()和sub()）实现高性能的数据处理，旨在提升数据处理的效率和代码的可读性。

在数据分析和处理中，我们经常需要对DataFrame中的多个列执行相同的数学运算。例如，在一个DataFrame中，我们可能需要将某几列的值统一减去另一列的值，然后再加上第三列的值。手动对每一列进行操作既繁琐又低效。本文将介绍两种Pandas中实现这种批量操作的强大方法。

1. 数据准备

首先，我们创建一个示例Pandas DataFrame来演示这些操作。

import pandas as pd

data = {
  "A": [42, 38, 39,23],
  "B": [45, 30, 15,65],
  "C": [60, 50, 25,43],
  "D": [12, 70, 35,76,],
  "E": [87, 90, 45,43],
  "F": [40, 48, 55,76],
  "G": [58, 42, 85,10],
}
df = pd.DataFrame(data)

print("原始 DataFrame:")
print(df)

原始 DataFrame:

    A   B   C   D   E   F   G
0  42  45  60  12  87  40  58
1  38  30  50  70  90  48  42
2  39  15  25  35  45  55  85
3  23  65  43  76  43  76  10

我们的目标是对列 C, D, E 中的每个值执行相同的操作：先减去对应行 B 列的值，然后加上对应行 A 列的值。即，对于 X 属于 {C, D, E}，计算 df['X'] = df['X'] - df['B'] + df['A']。

2. 方法一：使用 DataFrame.eval() 执行多行表达式

DataFrame.eval() 方法允许用户以字符串形式传递表达式，并在DataFrame的上下文中进行计算。这对于涉及多个列的复杂或重复操作特别有用，因为它提供了更简洁、类似Python的语法。

通过eval()，我们可以将多个赋值操作写在一个多行字符串中，Pandas 会高效地解析并执行它们。

# 使用 eval() 方法进行批量计算
df_eval = df.copy() # 创建副本以比较
df_eval = df_eval.eval('''C = C - B + A
D = D - B + A
E = E - B + A''')

print("\n使用 eval() 后的 DataFrame:")
print(df_eval)

使用 eval() 后的 DataFrame:

    A   B   C   D   E   F   G
0  42  45  57   9  84  40  58
1  38  30  58  78  98  48  42
2  39  15  49  59  69  55  85
3  23  65   1  34   1  76  10

优点:

• 可读性高: 表达式直接反映了数学逻辑，易于理解。
• 简洁性: 避免了重复的 df['column'] = ... 语句。
• 性能优化: eval() 在底层使用 numexpr 库，对于大型数据集能提供显著的性能提升。

3. 方法二：利用向量化操作实现批量计算

Pandas 提供了高度优化的向量化操作，允许我们对整个Series或DataFrame执行元素级的计算，而无需显式循环。这种方法通常是处理数值数据的首选，因为它效率极高。

我们可以将目标操作 X - B + A 分解为两步：首先计算 A - B 的结果，然后将这个结果加到目标列 C, D, E 上。

# 使用向量化操作进行批量计算
df_vectorized = df.copy() # 创建副本以比较

# 1. 计算 A - B 的 Series
# df['A'].sub(df['B']) 等同于 df['A'] - df['B']，但 sub 方法更灵活
diff_A_B = df_vectorized['A'].sub(df_vectorized['B'])

# 2. 将 diff_A_B 加到目标列 C, D, E 上
# df_vectorized[['C', 'D', 'E']] 选取一个包含目标列的子 DataFrame
# .add(diff_A_B, axis=0) 将 diff_A_B 这个 Series 的值按行（axis=0）加到子 DataFrame 的每一列
df_vectorized[['C', 'D', 'E']] = df_vectorized[['C', 'D', 'E']].add(diff_A_B, axis=0)

print("\n使用向量化操作后的 DataFrame:")
print(df_vectorized)

使用向量化操作后的 DataFrame:

    A   B   C   D   E   F   G
0  42  45  57   9  84  40  58
1  38  30  58  78  98  48  42
2  39  15  49  59  69  55  85
3  23  65   1  34   1  76  10

优点:

• 极致性能: Pandas 的核心优势在于其C语言实现的向量化操作，对于大规模数据处理具有无与伦比的速度。
• 代码清晰: 对于熟悉Pandas API的用户，链式操作非常直观。
• 内存效率: 避免创建不必要的中间Series或DataFrame。

4. 注意事项与选择建议

• eval() vs. 向量化操作:
  • 当表达式逻辑复杂、涉及多个中间变量或多个赋值语句时，eval() 往往提供更好的可读性。其字符串表达式的特性使得代码更接近自然语言描述。
  • 对于简单的、直接的列间运算（如本例），向量化操作通常在性能上略胜一筹，尤其是在数据量非常大的情况下。这是因为向量化操作直接调用底层的C/Cython实现，减少了Python解释器的开销。
• 内存考量: 两种方法都比显式循环（如 for 循环或 apply 配合 lambda）更高效，更节省内存。它们避免了迭代Python对象，从而减少了内存分配和垃圾回收的压力。
• axis 参数: 在使用 add(), sub() 等方法时，axis=0 表示按行进行操作（即按索引对齐）。这意味着DataFrame的每一行会与Series的对应索引进行运算。这是处理列间运算时的常见设置。

总结

在Pandas DataFrame中对多列执行批量加减运算时，DataFrame.eval() 和链式向量化操作是两种强大且高效的解决方案。eval() 提供了一种简洁、易读的方式来表达复杂的、多行的计算逻辑，使得代码更具可读性。而直接的向量化方法则利用Pandas底层优化提供了卓越的性能，是处理大规模数据的理想选择。开发者可以根据具体场景的复杂性和对性能的极致追求，在这两种方法之间灵活选择，以实现高效、可维护的数据处理代码。