从r中的多列中删除异常值

Question

我使用以下代码来识别不同列上的异常值：

outliers_x1 <- boxplot(mydata$x1, plot=FALSE)$out
outliers_x4 <- boxplot(mydata$x4, plot=FALSE)$out
outliers_x6 <- boxplot(mydata$x6, plot=FALSE)$out

现在，如何通过一个代码从数据集中删除这些异常值？

Answer 1

这将把任何离群值设置为na，然后选择删除所有列包含异常值的所有行。使用任意数量的列。

为方便起见，使用data.table。

library(data.table)
library(matrixStats)
##
#   create sample data
#
set.seed(1)
dt <- data.table(x1=rnorm(100), x2=rnorm(100), x3=rnorm(100))
##
#   incorporate possible outliers
#
dt[sample(100, 5), x1:=10*x1]
dt[sample(100, 5), x2:=10*x2]
dt[sample(100, 5), x3:=10*x3]
##
#    you start here...
#    remove all rows where any column contains an outlier
#
indx <- sapply(dt, \(x) !(x %in% boxplot(x, plot=FALSE)$out))
dt[as.logical(rowProds(indx))]

在上面，indx是具有三个逻辑列的矩阵。每个元素都是true，除非相应的列在该行中包含一个异常值。我们使用rowprods（...）从matrixstats package toply（＆amp;）一起使用3行。不幸的是，这将转换所有数字（1，0），因此我们必须将用作索引的逻辑转换回逻辑> dt 。

##
#   replaces outliers with NA in each column
#
dt.melt <- melt(dt[, id:=seq(.N)], id='id')
dt.melt[, ol:=(value %in% boxplot(value, plot=FALSE)$out), by=.(variable)]
dt.melt[(ol), value:=NA]
result <- dcast(dt.melt, id~variable)[, id:=NULL]
##
#   remove all rows where any column contains an outlier
#
na.omit(result)

在上面的代码中，我们添加了id列，然后熔体（...），因此所有其他列都在一个列中（value），第二列（<代码>变量），指示原始源列。然后，我们将boxplot（...）算法group-wise（通过variable）生成ol列指示异常值。然后，我们将任何value设置为ol == true对应于na。然后，我们使用dcast（...）将您的原始宽格式重新转换为您的原始宽格式，然后删除id。

这有点回旋，但是在处理这样的多列时，这种熔体 - 过程 - 播放模式很常见。

最后，na.omit（结果）将删除任何列中具有na的行。如果那是您想要的，则使用第一种方法会更简单。