我如何摆脱熊猫的异常情况？

Question

如果要删除-2σ和2σ之间不存在的值，如何使用IQR删除异常值？

我实现了以下方程式。

iqr = df['abc'].percentile(0.75) - df['abc'].percentile(0.25)

cond1 = (df['abc'] > df['abc'].percentile(0.75) + 2 * iqr)
cond2 = (df['abc'] < df['abc'].percentile(0.25) - 2 * iqr)

df[cond1 & cond2]

这是正确的方式吗？

Answer 1

这是不对的。您的 IQR 几乎永远不等于σ。四分位数和偏差不是相同的事情。

幸运的是，您可以使用 series.std（） 。

sigma = df['abc'].std()

cond1 = (df['abc'] > df['abc'].mean() - 2 * sigma)
cond2 = (df['abc'] < df['abc'].mean() + 2 * sigma)

df[cond1 & cond2]