R：使用分位数 0.05 和 0.95 对数据框中的每一列进行异常值清理

Question

我是R新手。在将样本放入随机森林之前，我想进行一些离群值清理和从 0 到 1 的总体缩放。

g<-c(1000,60,50,60,50,40,50,60,70,60,40,70,50,60,50,70,10)

如果我从 0 - 1 进行简单的缩放，结果将是：

> round((g - min(g))/abs(max(g) - min(g)),1)

 [1] 1.0 0.1 0.0 0.1 0.0 0.0 0.0 0.1 0.1 0.1 0.0 0.1 0.0 0.1 0.0 0.1 0.0

所以我的想法是将每列大于 0.95 分位数的值替换为小于 0.95 分位数的下一个值 - 对于0.05 分位数。

因此，预缩放结果将是：

g<-c(**70**,60,50,60,50,40,50,60,70,60,40,70,50,60,50,70,**40**)

缩放后：

> round((g - min(g))/abs(max(g) - min(g)),1)

 [1] 1.0 0.7 0.3 0.7 0.3 0.0 0.3 0.7 1.0 0.7 0.0 1.0 0.3 0.7 0.3 1.0 0.0

我需要整个数据帧的公式，因此 R 中的功能实现应该类似于：

> apply(c, 2, function(x) x[x`<quantile(x, 0.95)]`<-max(x[x, ... max without the quantile(x, 0.95))

任何人都可以帮忙吗？

旁边说：如果存在直接完成这项工作的函数，请告诉我。我已经检查过 cut 和 cut2。 cut 由于不唯一的中断而失败； cut2 可以工作，但只返回字符串值或平均值，我需要一个从 0 - 1 的数字向量。

用于试用：

a<-c(100,6,5,6,5,4,5,6,7,6,4,7,5,6,5,7,1)

b<-c(1000,60,50,60,50,40,50,60,70,60,40,70,50,60,50,70,10)

c<-cbind(a,b)

c<-as.data.frame(c)

问候并感谢您的帮助，

Rainer

Answer 1

我想不出 R 中的函数可以执行此操作，但您可以自己定义一个小函数：

foo <- function(x)
{
    quant <- quantile(x,c(0.05,0.95))
    x[x < quant[1]] <- min(x[x >= quant[1]])
    x[x > quant[2]] <- max(x[x <= quant[2]])
    return(round((x - min(x))/abs(max(x) - min(x)),1))
}

然后将其应用于数据框中的每个变量：

sapply(c,foo)
       a   b
 [1,] 1.0 1.0
 [2,] 0.7 0.7
 [3,] 0.3 0.3
 [4,] 0.7 0.7
 [5,] 0.3 0.3
 [6,] 0.0 0.0
 [7,] 0.3 0.3
 [8,] 0.7 0.7
 [9,] 1.0 1.0
[10,] 0.7 0.7
[11,] 0.0 0.0
[12,] 1.0 1.0
[13,] 0.3 0.3
[14,] 0.7 0.7
[15,] 0.3 0.3
[16,] 1.0 1.0
[17,] 0.0 0.0

编辑：这个答案旨在解决编程问题问题。关于实际使用它，我完全同意哈德利的观点

Answer 2

请不要这样做。对于处理异常值来说，这不是一个好的策略 - 特别是因为 10% 的数据不太可能是异常值！