对 Pandas 中具有条件的顺序操作进行向量化

Question

我有一个包含 3 列的 Pandas 数据框。有一系列布尔值、一系列值和我想要填充的列 C。我还有 C 的初始值。

A         B         C
----------------------
True     10        100
False    20        NaN
True     25        NaN
True     28        NaN
...

我希望 C 列的值（对于 C[1:]）遵循遵循规则。

if A[i - 1]:
    C[i] = C[i - 1] * B[i] / B[i - 1]
else:
    C[i] = C[i - 1]

当然这个公式无法确定C[0]，但是提供了C[0]。

有没有办法使用矢量化操作有效地做到这一点？

我尝试过的：

以下命令不考虑操作的顺序性质。

df.loc[df.A , 'C'] = df.C.shift(1) * df.B / df.B.shift(1)
df.loc[df.A == 0, 'C'] = df.C.shift(1)

如果我要使用 apply 函数来计算它，我可能必须创建如下所示的新移位列，然后仅运行 apply for rows [1:]？但是我如何获得更新后的 C 的先前值呢？

df["s_A"] = df.A.shift(1)
df["s_B"] = df.B.shift(1)
df["s_C"] = df.C.shift(1)
df["s_A"][0] = False; # this assumption is okay within the purposes 

这应该有效吗？有更快的方法吗？多个数据帧中总共可能有多达 400,000 行，但它对时间不敏感。

为了清楚起见，我将提到总共大约有 12 列，但只有这三列与此操作相关。

是否可以向量化此操作？还有其他方法可以解决吗？

谢谢。

Answer 1

我认为将递归代数向量化是很困难的。

一般的方法是递归地执行

A = df['A'].to_numpy()
B = df['B'].to_numpy()
C = df['C'].to_numpy()

for i in np.arange(1, len(A)):
    C[i] = C[i-1] if not A[i-1] else C[i-1] * B[i] / B[i-1]

df['A'] = A
df['B'] = B
df['C'] = C

或者，在分析你的案例之后，可以将其计算为累积乘积问题，可以通过以下方式解决：

df['C'] = df['C'].fillna(
    df['A'].shift(1) * df['B'] / df['B'].shift(1) +\
    (1 - df['A'].shift(1))
).cumprod()

两种方法都会产生相同的结果。

       A   B      C
0   True  10  100.0
1  False  20  200.0
2   True  25  200.0
3   True  28  224.0