带有总计/小计的 groupby

Question

假设我有以下数据框，

Strategy    AssetClass    Symbol         Value    Indicator
Strat1      OPT           OPT_ABC1       50       -0.3
Strat1      OPT           OPT_ABC2       50       1.5
Strat1      STK           STK_ABC        50       2.7
Strat2      STK           STK_XYZ        70       -3.8
Strat3      OPT           OPT_MNO        25       10

我想生成以下内容：

Strategy    AssetClass    Symbol    Value    Indicator
Strat1                                       3.9
            OPT                              1.2
                          OPT_ABC1  50       -0.3
                          OPT_ABC2  50       1.5
            STK                              2.7
                          STK_ABC   50       2.7
Strat2                                       -3.8
            STK                              -3.8
                          STK_XYZ   70       -3.8
Strat3                                       10
            OPT                              10
                          OPT_MNO   25       10

因此，我们的想法是重新排列数据，其中包含每个策略的总计，然后是资产类别，然后是每个交易品种。 “值”列在符号级别可用，而“指标”列是子组的总和。

我想过使用 pd.pivot_table 但它似乎没有产生我正在寻找的总计/子总计。我认为我应该在 Strategy 上使用/循环 pd.groupby，然后在 Strategy/AssetClass 上循环另一个 groupby，然后在 Strategy/AssetClass/Symbol 上循环 groupby

df 是上面的数据帧，我这样做了：

container = []
for label, _df in df.groupby(['Strategy', 'AssetClass', 'Symbol']):
    _df.loc[f'{label}'] = _df[['Indicator']].sum()
    container.append(_df)

df_res = pd.concat(container)
print(df_res.fillna(''))

我的问题是小计插入到相应行之后，并使用标签作为索引。此外，我无法找出添加其他 lopps（即小计）的简单/Pythonic 方法

Answer 1

您可以按不同的列进行聚合，因此为了提高性能，最好不要使用嵌套的 groupby.apply 而是使用多重聚合，最后通过 concat，按 DataFrame.reindex 以及前 2 列的最后排序：

df1 = df.groupby(['Strategy', 'AssetClass', 'Symbol'], as_index=False).sum()

df2 = (df1.groupby(['Strategy', 'AssetClass'], as_index=False)['Indicator'].sum()
          .assign(Symbol = ''))

df3 = (df1.groupby('Strategy', as_index=False)['Indicator'].sum()
          .assign(AssetClass = ''))

df = (pd.concat([df3, df2, df1])
        .reindex(df.columns, axis=1)
        .fillna('')
        .sort_values(['Strategy','AssetClass'], ignore_index=True))
print (df)
   Strategy AssetClass    Symbol Value  Indicator
0    Strat1                                   3.9
1    Strat1        OPT                        1.2
2    Strat1        OPT  OPT_ABC1  50.0       -0.3
3    Strat1        OPT  OPT_ABC2  50.0        1.5
4    Strat1        STK                        2.7
5    Strat1        STK   STK_ABC  50.0        2.7
6    Strat2                                  -3.8
7    Strat2        STK                       -3.8
8    Strat2        STK   STK_XYZ  70.0       -3.8
9    Strat3                                  10.0
10   Strat3        OPT                       10.0
11   Strat3        OPT   OPT_MNO  25.0       10.0