如何使用多字节分隔符将文本文件读入 GNU R？

Question

我可以使用 read.csv 或 read.csv2 将数据读取到 R 中。但我遇到的问题是我的分隔符是多字节字符串而不是单个字符。我该如何处理这个问题？

Answer 1

提供示例数据会有帮助。但是，您也许可以根据您的需要调整以下内容。

我创建了一个示例数据文件，它只是一个包含以下内容的文本文件：

1sep2sep3
1sep2sep3
1sep2sep3
1sep2sep3
1sep2sep3
1sep2sep3
1sep2sep3

我将其另存为“test.csv”。分隔符是“sep”字符串。我认为 read.csv() 使用 scan()，它只接受 sep 的单个字符。要解决此问题，请考虑以下事项：

dat <- readLines('test.csv')
dat <- gsub("sep", " ", dat)
dat <- textConnection(dat)
dat <- read.table(dat)

readLines() 仅读取其中的行。gsub 用多字符分隔字符串替换单个 ' ' 或任何对您的数据方便的内容。然后 textConnection() 和 read.data() 方便地读回所有内容。对于较小的数据集，这应该没问题。如果您有非常大的数据，请考虑使用 AWK 之类的预处理来替换多字符分隔字符串。以上内容来自 http://tolstoy.newcastle.edu .au/R/e4/help/08/04/9296.html 。

更新
关于您的评论，如果您的数据中有空格，请使用不同的替换分隔符。考虑将 test.csv 更改为：

1sep2 2sep3
1sep2 2sep3
1sep2 2sep3
1sep2 2sep3
1sep2 2sep3
1sep2 2sep3
1sep2 2sep3 

然后，使用以下函数：

readMulti <- function(x, sep, replace, as.is = T)
{
    dat <- readLines(x)
    dat <- gsub(sep, replace, dat)
    dat <- textConnection(dat)
    dat <- read.table(dat, sep = replace, as.is = as.is)

    return(dat)
}

尝试：

readMulti('test.csv', sep = "sep", replace = "\t", as.is = T)

在这里，用制表符 (\t) 替换原始分隔符。 as.is 被传递给 read.table() 以防止字符串被读入 is 因子，但这是你的决定。如果数据中有更复杂的空白，您可能会发现 read.table() 中的 quote 参数很有帮助，或者使用 AWK、perl 等进行预处理。

与 crippledlambda 的 strsplit() 类似的东西很可能与中等大小的数据等效。如果性能成为问题，请尝试两者，看看哪种适合您。

Answer 2

在这种情况下，您可以将 textConnection(txt) 替换为您的文件名，但本质上您可以围绕 strsplit 构建代码或函数。在这里，我假设您有一个标题行，但您当然可以定义一个 header 参数，并根据以下函数概括数据框的创建：

read.multisep <- function(File,sep) {
    Lines <- readLines(File)
    Matrix <- do.call(rbind,strsplit(Lines, sep, fixed = TRUE))
    DataFrame <- structure(data.frame(Matrix[-1,]), names=Matrix[1,]) ## assuming header is present
    DataFrame[] <- lapply(DataFrame, type.convert)                    ## automatically convert modes
    DataFrame
}

example <- "a#*&b#*&c
            1#*&2#*&3
            4#*&5#*&6"

read.multisep(textConnection(example),sep="#*&")

  a b c
1 1 2 3
2 4 5 6