Pandas：对每组的特征异常值进行缩尾处理

Question

我有包含 100 个特征的数据框，我想对每个“组”的异常值进行缩尾处理。 您可以使用以下代码来生成数据帧。

import numpy as np
import pandas as pd
from scipy.stats import mstats

data = np.random.randint(1,999,size=(500,101))

cols = []
for i in range(101):
   cols += [f'f_{i}']  

df = pd.DataFrame(data, columns=cols)
df['group'] = np.random.randint(1,4,size=(500,1))
df = df.sort_values(by=['group'])

现在我想对每组中的每个特征进行winsorize（而不是删除！）极值。

如果您不确定“winsorize”。这是一个示例：

在winsorize之前：

1, 2, 3, 4, 5 ... 97, 98, 99, 100

在winsorize之后最小和最大1％：

2, 2, 3, 4, 5 ... 97, 98, 99, 99

我知道如何使用以下代码对整个数据帧的每个特征进行winsorize极端1％值。

for col in df.columns:
    df[col] = stats.mstats.winsorize(df[col], limits=[0.01, 0.01])

但是，我想对每个组的每个功能进行缩尾。

有人可以建议吗？ 谢谢 ！

Answer 1

一定有比这更优雅的方法，但它似乎对我有用，而且只是对您的解决方案的一个微小补充：

for col in df.columns:
    for group in df.group.unique():
        df[col][df.group==group] = mstats.winsorize(df[col][df.group==group], limits=[0.01, 0.01])

如您所见，除了列之外，我还迭代组，并用简单的方法解决问题对每一列进行过滤。