R中分割大字符串的有效方法

Question

我有一个巨大的字符串（> 500MB），实际上它是一整本书的集合。我在另一个数据框中有一些元信息，例如页码、（不同的）作者和标题。我尝试检测巨大字符串中的标题字符串并按标题拆分它。我认为标题是独一无二的。

数据如下所示：

mystring <- "Lorem ipsum dolor sit amet, sollicitudin duis maecenas habitasse ultrices aenean tempus"

# a dataframe of meta data, e.g. page numbers and titles
mydf <- data.frame(page = c(1, 2),
                   title = c( "Lorem", "maecenas"))
mydf

  page   title
1    1   Lorem
2    2 vivamus

mygoal <- mydf  # text that comes after the title
mygoal$text <- c("ipsum dolor sit amet, sollicitudin duis", "habitasse ultrices aenean tempus")
mygoal 

  page   title                                    text
1    1   Lorem ipsum dolor sit amet, sollicitudin duis
2    2 vivamus        habitasse ultrices aenean tempus

如何以最有效的方式拆分字符串，使两个标题之间的所有内容都是第一个文本，第二个标题之后和第三个标题之前的所有内容都成为第二个文本元素。

Answer 1

如果您想以管道 tidyverse 方式执行操作，您可以尝试使用 stringr::str_extract 和一些正则表达式：

library(dplyr)
library(stringr)
library(glue)

mydf |>  
  mutate(next_title = lead(title, default = "$")) |> 
  mutate(text = str_extract(mystring, glue::glue("(?<={title}\\s?)(.*)(?:{next_title})"))) |> 
  select(-next_title)

Yielding：

page    title                                      text
1    1    Lorem  ipsum dolor sit amet, sollicitudin duis 
2    2 maecenas          habitasse ultrices aenean tempus

如果性能是一个问题，则可以使用 data 的类似方法。表将是：

library(data.table)
library(stringr)
library(glue)

mydt <- setDT(mydf)

mydt[, next_title :=shift(title, fill = "$", type = "lead")][
  ,text := str_extract(..mystring, glue_data(.SD,"(?<={title}\\s?)(.*)(?={next_title})"))][,
    !("next_title")]

导致：

   page    title                                      text
1:    1    Lorem  ipsum dolor sit amet, sollicitudin duis 
2:    2 maecenas          habitasse ultrices aenean tempus

编辑

添加以获得更好的性能选项：

通常，str_split或str_split_fixed将是更快的方法比 str_extract 更进一步。

str_split 的问题是，具有许多备用管道的正则表达式也会减慢该过程，因此另一种解决方案是首先用一些固定字符串替换字符串中的所有标题，然后拆分那些。加快分割速度的另一件事是使用 str_split_fixed 并预先分配要处理的分割数量。

    # create named character vector for str_replace_all function
split_at <- rep("@@",nrow(mydf))
names(split_at) <- mydf$title
mystring <- str_replace_all(mystring, split_at)

# used fixed in str_split
mydf$text <- str_split(mystring,fixed("@@ "))[[1]][-1]

# Alternative (maybe faster) define number of splits by nrow
mydf$text <- str_split_fixed(mystring,fixed("@@ "), n = nrow(mydf)+1)[,-1]


## using str_split_fixed in data.table
mydt <- setDT(mydf)
mydt[, text := 
       str_split_fixed(mystring,fixed("@@ "), nrow(mydt)+1)[,-1]

Answer 2

我们可以使用 strsplit

mygoal$text <- trimws(strsplit(mystring,
      paste(mydf$title, collapse = "|"))[[1]][-1])

-output

> mygoal
  page    title                                    text
1    1    Lorem ipsum dolor sit amet, sollicitudin duis
2    2 maecenas        habitasse ultrices aenean tempus