在数据框中延续最后的观察结果？

Question

我希望对我正在处理的数据集实施“最后观察结转”，该数据集末尾有缺失值。

这是一个简单的代码来做到这一点（后面的问题）：

LOCF <- function(x)
{
    # Last Observation Carried Forward (for a left to right series)
    LOCF <- max(which(!is.na(x))) # the location of the Last Observation to Carry Forward
    x[LOCF:length(x)] <- x[LOCF]
    return(x)
}


# example:
LOCF(c(1,2,3,4,NA,NA))
LOCF(c(1,NA,3,4,NA,NA))

现在这对于简单的向量非常有效。但是，如果我尝试在数据帧上使用它：

a <- data.frame(rep("a",4), 1:4,1:4, c(1,NA,NA,NA))
a
t(apply(a, 1, LOCF)) # will make a mess

它将把我的数据帧变成字符矩阵。

你能想出一种在 data.frame 上执行 LOCF 而不将其转换为矩阵的方法吗？ （我可以使用循环等来纠正混乱，但希望有一个更优雅的解决方案）

Answer 1

这已经存在：

library(zoo)
na.locf(data.frame(rep("a",4), 1:4,1:4, c(1,NA,NA,NA)))

Answer 2

如果您不想仅为 na.locf 函数加载像 Zoo 这样的大包，这里有一个简短的解决方案，如果输入向量中存在一些前导 NA，该解决方案也适用。

na.locf <- function(x) {
  v <- !is.na(x)
  c(NA, x[v])[cumsum(v)+1]
}

Answer 3

添加新的 tidyr::fill() 函数，用于将列中的最后一个观察结果移至填充 NA：

a <- data.frame(col1 = rep("a",4), col2 = 1:4, 
                col3 = 1:4, col4 = c(1,NA,NA,NA))
a
#   col1 col2 col3 col4
# 1    a    1    1    1
# 2    a    2    2   NA
# 3    a    3    3   NA
# 4    a    4    4   NA

a %>% tidyr::fill(col4)
#   col1 col2 col3 col4
# 1    a    1    1    1
# 2    a    2    2    1
# 3    a    3    3    1
# 4    a    4    4    1

Answer 4

有很多包正是实现了这个功能。
（基本功能相同，但附加选项有些差异）

• spacetime::na.locf
• imputeTS::na_locf
• zoo::na.locf
• xts::na.locf
• tidyr::fill

为 @Alex 添加了这些方法的基准：

我使用了 microbenchmark 包和 tsNH4 时间序列，其中有 4552 个观测值。
结果如下：

，对于这种情况，来自 imputeTS 的 na_locf 是最快的 - 紧随其后的是来自 Zoo 的 na.locf0。其他方法明显慢一些。但请注意，这只是针对一个特定时间序列制定的基准。 （添加了您可以针对特定用例进行测试的代码）

结果为图表：

如果您想使用自选的时间序列重新创建基准，则这里是代码

library(microbenchmark)
library(imputeTS)
library(zoo)
library(xts)
library(spacetime)
library(tidyr)

# Create a data.frame from tsNH series 
df <- as.data.frame(tsNH4)

res <- microbenchmark(imputeTS::na_locf(tsNH4),
                    zoo::na.locf0(tsNH4),
                    zoo::na.locf(tsNH4), 
                    tidyr::fill(df, everything()), 
                    spacetime::na.locf(tsNH4), 
                    times = 100)
ggplot2::autoplot(res)

plot(res)

# code just to show each methods produces correct output
spacetime::na.locf(tsNH4)
imputeTS::na_locf(tsNH4)
zoo::na.locf(tsNH4)
zoo::na.locf0(tsNH4)
tidyr::fill(df, everything())

Answer 5

这个问题很老了，但对于后代来说......最好的解决方案是使用带有 roll=T 的 data.table 包。

Answer 6

我最终使用循环解决了这个问题：

fillInTheBlanks <- function(S) {
  L <- !is.na(S)
  c(S[L][1], S[L])[cumsum(L)+1]
}


LOCF.DF <- function(xx)
{
    # won't work well if the first observation is NA

    orig.class <- lapply(xx, class)

    new.xx <- data.frame(t( apply(xx,1, fillInTheBlanks) ))

    for(i in seq_along(orig.class))
    {
        if(orig.class[[i]] == "factor") new.xx[,i] <- as.factor(new.xx[,i])
        if(orig.class[[i]] == "numeric") new.xx[,i] <- as.numeric(new.xx[,i])
        if(orig.class[[i]] == "integer") new.xx[,i] <- as.integer(new.xx[,i])   
    }

    #t(na.locf(t(a)))

    return(new.xx)
}

a <- data.frame(rep("a",4), 1:4,1:4, c(1,NA,NA,NA))
LOCF.DF(a)

Answer 7

您可以使用 lapply() 代替 apply()，然后将结果列表转换为 data.frame。

LOCF <- function(x) {
    # Last Observation Carried Forward (for a left to right series)
    LOCF <- max(which(!is.na(x))) # the location of the Last Observation to Carry Forward
    x[LOCF:length(x)] <- x[LOCF]
    return(x)
}

a <- data.frame(rep("a",4), 1:4, 1:4, c(1, NA, NA, NA))
a
data.frame(lapply(a, LOCF))