删除子集数据框中未使用的因子级别

Question

我有一个包含因子的数据框。 当我使用 subset 或其他索引函数创建此数据框的子集时，会创建一个新的数据框。 但是，factor 变量保留其所有原始级别，即使它们不存在于新数据帧中也是如此。

在进行分面绘图或使用依赖于因子水平的函数时，这会导致问题。

从新数据框中的因子中删除级别的最简洁方法是什么？

这是一个例子：

df <- data.frame(letters=letters[1:5],
                    numbers=seq(1:5))

levels(df$letters)
## [1] "a" "b" "c" "d" "e"

subdf <- subset(df, numbers <= 3)
##   letters numbers
## 1       a       1
## 2       b       2
## 3       c       3    

# all levels are still there!
levels(subdf$letters)
## [1] "a" "b" "c" "d" "e"

Answer 1

如果您不希望出现这种行为，请不要使用因子，而应使用字符向量。 我认为这比事后修补更有意义。 在使用 read.table 或 read.csv 加载数据之前，请尝试以下操作：

options(stringsAsFactors = FALSE)

缺点是您只能按字母顺序排序。 （重新排序是你绘图的朋友）

Answer 2

这是一个已知问题，gdata 包，您的示例将

> drop.levels(subdf)
  letters numbers
1       a       1
2       b       2
3       c       3
> levels(drop.levels(subdf)$letters)
[1] "a" "b" "c"

在其中 gdata 包中还有 dropUnusedLevels 函数。 org/web/packages/Hmisc/index.html" rel="noreferrer">Hmisc 包。 但是，它只能通过更改子集运算符 [ 来起作用，并且在这里不适用。

作为推论，基于每列的直接方法是一个简单的 as.factor(as.character(data))：

> levels(subdf$letters)
[1] "a" "b" "c" "d" "e"
> subdf$letters <- as.factor(as.character(subdf$letters))
> levels(subdf$letters)
[1] "a" "b" "c"

Answer 3

另一种方法是使用 dplyr 进行相同操作，但使用

library(dplyr)
subdf <- df %>% filter(numbers <= 3) %>% droplevels()
str(subdf)

编辑：

也可以！ 感谢 agenis

subdf <- df %>% filter(numbers <= 3) %>% droplevels
levels(subdf$letters)

Answer 4

为了完整起见，现在forcats包中也有fct_drophttp://forcats.tidyverse.org/reference/fct_drop.html。

它与 droplevels 的不同之处在于处理 NA 的方式：

f <- factor(c("a", "b", NA), exclude = NULL)

droplevels(f)
# [1] a    b    <NA>
# Levels: a b <NA>

forcats::fct_drop(f)
# [1] a    b    <NA>
# Levels: a b

Answer 5

这是另一种方法，我认为它相当于 factor(..) 方法：

> df <- data.frame(let=letters[1:5], num=1:5)
> subdf <- df[df$num <= 3, ]

> subdf$let <- subdf$let[ , drop=TRUE]

> levels(subdf$let)
[1] "a" "b" "c"

Answer 6

这很令人讨厌。 这就是我通常这样做的方式，以避免加载其他包：

levels(subdf$letters)<-c("a","b","c",NA,NA)

这会让你：

> subdf$letters
[1] a b c
Levels: a b c

请注意，新级别将替换旧级别中占据其索引的任何内容（subdf$letters），因此类似：

levels(subdf$letters)<-c(NA,"a","c",NA,"b")

不起作用。

当你有很多关卡时，这显然并不理想，但对于少数关卡来说，它又快又简单。

Answer 7

查看 droplevels 方法 R 源代码中的代码您可以看到 它包装到 factor 函数。 这意味着您基本上可以使用 factor 函数重新创建列。
下面是 data.table 方法从所有因子列中删除级别。

library(data.table)
dt = data.table(letters=factor(letters[1:5]), numbers=seq(1:5))
levels(dt$letters)
#[1] "a" "b" "c" "d" "e"
subdt = dt[numbers <= 3]
levels(subdt$letters)
#[1] "a" "b" "c" "d" "e"

upd.cols = sapply(subdt, is.factor)
subdt[, names(subdt)[upd.cols] := lapply(.SD, factor), .SDcols = upd.cols]
levels(subdt$letters)
#[1] "a" "b" "c"

Answer 8

非常有趣的线程，我特别喜欢再次考虑子选择的想法。 我以前也遇到过类似的问题，我只是转换为字符，然后又返回到因子。

   df <- data.frame(letters=letters[1:5],numbers=seq(1:5))
   levels(df$letters)
   ## [1] "a" "b" "c" "d" "e"
   subdf <- df[df$numbers <= 3]
   subdf$letters<-factor(as.character(subdf$letters))

Answer 9

这是一种方法

varFactor <- factor(letters[1:15])
varFactor <- varFactor[1:5]
varFactor <- varFactor[drop=T]

Answer 10

我编写了实用函数来执行此操作。 现在我了解了 gdata 的 drop.levels，它看起来非常相似。 它们在这里（来自此处）：

present_levels <- function(x) intersect(levels(x), x)

trim_levels <- function(...) UseMethod("trim_levels")

trim_levels.factor <- function(x)  factor(x, levels=present_levels(x))

trim_levels.data.frame <- function(x) {
  for (n in names(x))
    if (is.factor(x[,n]))
      x[,n] = trim_levels(x[,n])
  x
}

Answer 11

不幸的是，当使用 RevoScaleR 的 rxDataStep 时，factor() 似乎不起作用。 我分两步进行：
1) 转换为字符并存储在临时外部数据帧(.xdf)中。
2) 转换回因子并存储在明确的外部数据框中。 这消除了任何未使用的因子级别，而无需将所有数据加载到内存中。

# Step 1) Converts to character, in temporary xdf file:
rxDataStep(inData = "input.xdf", outFile = "temp.xdf", transforms = list(VAR_X = as.character(VAR_X)), overwrite = T)
# Step 2) Converts back to factor:
rxDataStep(inData = "temp.xdf", outFile = "output.xdf", transforms = list(VAR_X = as.factor(VAR_X)), overwrite = T)

Answer 12

感谢您发布这个问题。 但是，上述解决方案都不适合我。 我为这个问题做了一个解决方法，分享它以防其他人偶然发现这个问题：

对于所有包含零值级别的 factor 列，您可以首先将这些列转换为 character 类型，然后将它们转换回因子。

对于上面发布的问题，只需添加以下代码行：

# Convert into character
subdf$letters = as.character(subdf$letters)

# Convert back into factor
subdf$letters = as.factor(subdf$letters)

# Verify the levels in the subset
levels(subdf$letters)

Answer 13

真正的 droplevels 函数是 collapse::fdroplevels，它比 droplevels 快得多，并且不执行任何类型的不必要的匹配或值列表。 例子：

library(collapse)
library(microbenchmark)

# wlddev data supplied in collapse, iso3c is a factor
data <- fsubset(wlddev, iso3c %!in% "USA")

microbenchmark(fdroplevels(data), droplevels(data), unit = "relative")
## Unit: relative
##               expr  min       lq     mean   median       uq      max neval cld
##  fdroplevels(data)  1.0  1.00000  1.00000  1.00000  1.00000  1.00000   100  a 
##   droplevels(data) 30.2 29.15873 24.54175 24.86147 22.11553 14.23274   100   b

Answer 14

已经尝试了这里的大多数示例（如果不是全部），但似乎没有一个适用于我的情况。
经过相当长一段时间的挣扎后，我尝试在因子列上使用 as.character() 将其更改为带有字符串的 col，这似乎工作得很好。

不确定性能问题。

Answer 15

从 R 版本 2.12 开始，有一个 droplevels() 函数。

levels(droplevels(subdf$letters))

Answer 16

您所要做的就是在子集化后再次将 Factor() 应用于您的变量：

> subdf$letters
[1] a b c
Levels: a b c d e
subdf$letters <- factor(subdf$letters)
> subdf$letters
[1] a b c
Levels: a b c

编辑

从因子页面示例：

factor(ff)      # drops the levels that do not occur

要从数据框中的所有因子列中删除级别，您可以使用：

subdf <- subset(df, numbers <= 3)
subdf[] <- lapply(subdf, function(x) if(is.factor(x)) factor(x) else x)