使用dplyr group_by模拟split（）：返回数据帧列表

Question

我有一个大的数据集，可以在R中窒息split（）。 grouped_df作为数据帧列表，这是我的连续处理步骤所要求的格式（我需要胁迫spatialdataframes以及类似）。

考虑一个示例数据集：

df = as.data.frame(cbind(c("a","a","b","b","c"),c(1,2,3,4,5), c(2,3,4,2,2)))
listDf = split(df,df$V1)

返回

$a
   V1 V2 V3
 1  a  1  2
 2  a  2  3

$b
   V1 V2 V3
 3  b  3  4
 4  b  4  2

$c
   V1 V2 V3
 5  c  5  2

我想使用group_by（类似group_by（df，v1））来模拟此数据集，但这会返回一个，grouped_df。我知道do应该能够帮助我，但我不确定用法（另请参见链接进行讨论。）

请注意，将每个列表拆分为已用于建立该组的因素的名称 - 这是一个理想的功能（最终，是从DFS列表中提取这些名称的方法的奖励荣誉）。

Answer 1

dplyr中的group_split：

dplyr已实现group_split：

https://dplyr.tidyverse.org/reference/group_split.split.html 组成，返回数据范围列表。这些数据范围中的每一个都是由拆分变量类别定义的原始数据框的子集。

例如。将数据集iris按变量stell，并计算每个子数据集的摘要：

> iris %>% 
+     group_split(Species) %>% 
+     map(summary)
[[1]]
  Sepal.Length    Sepal.Width     Petal.Length    Petal.Width          Species  
 Min.   :4.300   Min.   :2.300   Min.   :1.000   Min.   :0.100   setosa    :50  
 1st Qu.:4.800   1st Qu.:3.200   1st Qu.:1.400   1st Qu.:0.200   versicolor: 0  
 Median :5.000   Median :3.400   Median :1.500   Median :0.200   virginica : 0  
 Mean   :5.006   Mean   :3.428   Mean   :1.462   Mean   :0.246                  
 3rd Qu.:5.200   3rd Qu.:3.675   3rd Qu.:1.575   3rd Qu.:0.300                  
 Max.   :5.800   Max.   :4.400   Max.   :1.900   Max.   :0.600                  

[[2]]
  Sepal.Length    Sepal.Width     Petal.Length   Petal.Width          Species  
 Min.   :4.900   Min.   :2.000   Min.   :3.00   Min.   :1.000   setosa    : 0  
 1st Qu.:5.600   1st Qu.:2.525   1st Qu.:4.00   1st Qu.:1.200   versicolor:50  
 Median :5.900   Median :2.800   Median :4.35   Median :1.300   virginica : 0  
 Mean   :5.936   Mean   :2.770   Mean   :4.26   Mean   :1.326                  
 3rd Qu.:6.300   3rd Qu.:3.000   3rd Qu.:4.60   3rd Qu.:1.500                  
 Max.   :7.000   Max.   :3.400   Max.   :5.10   Max.   :1.800                  

[[3]]
  Sepal.Length    Sepal.Width     Petal.Length    Petal.Width          Species  
 Min.   :4.900   Min.   :2.200   Min.   :4.500   Min.   :1.400   setosa    : 0  
 1st Qu.:6.225   1st Qu.:2.800   1st Qu.:5.100   1st Qu.:1.800   versicolor: 0  
 Median :6.500   Median :3.000   Median :5.550   Median :2.000   virginica :50  
 Mean   :6.588   Mean   :2.974   Mean   :5.552   Mean   :2.026                  
 3rd Qu.:6.900   3rd Qu.:3.175   3rd Qu.:5.875   3rd Qu.:2.300                  
 Max.   :7.900   Max.   :3.800   Max.   :6.900   Max.   :2.500     

对于在嵌套数据范围内调试计算也非常有用，因为它是一个快速的“查看”嵌套数据框架上的计算中正在发生的事情。

Answer 2

比较基础，plyr和dplyr解决方案，似乎基本的速度仍然快得多！

library(plyr)
library(dplyr)   

df <- data_frame(Group1=rep(LETTERS, each=1000),
             Group2=rep(rep(1:10, each=100),26), 
             Value=rnorm(26*1000))

microbenchmark(Base=df %>%
             split(list(.$Group2, .$Group1)),
           dplyr=df %>% 
             group_by(Group1, Group2) %>% 
             do(data = (.)) %>% 
             select(data) %>% 
             lapply(function(x) {(x)}) %>% .[[1]],
           plyr=dlply(df, c("Group1", "Group2"), as.tbl),
           times=50) 

给出：

Unit: milliseconds
  expr      min        lq      mean    median        uq       max neval
  Base 12.82725  13.38087  16.21106  14.58810  17.14028  41.67266    50
  dplyr 25.59038 26.66425  29.40503  27.37226  28.85828  77.16062   50
  plyr 99.52911  102.76313 110.18234 106.82786 112.69298 140.97568    50

Answer 3

要“坚持”到Dplyr，您也可以使用plyr而不是split：

library(plyr)

dlply(df, "V1", identity)
#$a
#  V1 V2 V3
#1  a  1  2
#2  a  2  3

#$b
#  V1 V2 V3
#1  b  3  4
#2  b  4  2

#$c
#  V1 V2 V3
#1  c  5  2

Answer 4

您可以使用do从group_by获取数据帧列表，只要您命名新列，将存储数据框，然后将该列将其置于> Lapply。

listDf = df %>% group_by(V1) %>% do(vals=data.frame(.)) %>% select(vals) %>% lapply(function(x) {(x)})
listDf[[1]]
#[[1]]
#  V1 V2 V3
#1  a  1  2
#2  a  2  3

#[[2]]
#  V1 V2 V3
#1  b  3  4
#2  b  4  2

#[[3]]
#  V1 V2 V3
#1  c  5  2

Answer 5

由于 dplyr 0.8 您可以使用group_split

library(dplyr)
df = as.data.frame(cbind(c("a","a","b","b","c"),c(1,2,3,4,5), c(2,3,4,2,2)))
df %>% group_by(V1) %>% group_split()
#> [[1]]
#> # A tibble: 2 x 3
#>   V1    V2    V3   
#>   <fct> <fct> <fct>
#> 1 a     1     2    
#> 2 a     2     3    
#> 
#> [[2]]
#> # A tibble: 2 x 3
#>   V1    V2    V3   
#>   <fct> <fct> <fct>
#> 1 b     3     4    
#> 2 b     4     2    
#> 
#> [[3]]
#> # A tibble: 1 x 3
#>   V1    V2    V3   
#>   <fct> <fct> <fct>
#> 1 c     5     2

Answer 6

由于dplyr 0.5.0.9000，因此使用group_by（）的最短解决方案可能是使用do使用pull code> do ：

df %>% group_by(V1) %>% do(data=(.)) %>% pull(data)

请注意，与split不同，这没有命名结果列表元素。如果需要这一点，那么您可能希望某种东西可以

df %>% group_by(V1) %>% do(data = (.)) %>% with( set_names(data, V1) )

稍作编辑，我同意人们说split（）是更好的选择。就我个人而言，我总是发现我必须两次键入数据框的名称（例如split（潜在的longnname，潜在的londlongname $ v1）））很烦人，但是这个问题很容易与管道挂钩：

df %>% split( .$V1 )

Answer 7

使用group_map per group_by的另一个选项，如果要将每个组的名称保留到每个数据框架列表中，则可以使用set_names从purrr 像这样：

library(dplyr)
df %>% 
  group_by(V1) %>% 
  group_map(~.x)
#> [[1]]
#> # A tibble: 2 × 2
#>   V2    V3   
#>   <chr> <chr>
#> 1 1     2    
#> 2 2     3    
#> 
#> [[2]]
#> # A tibble: 2 × 2
#>   V2    V3   
#>   <chr> <chr>
#> 1 3     4    
#> 2 4     2    
#> 
#> [[3]]
#> # A tibble: 1 × 2
#>   V2    V3   
#>   <chr> <chr>
#> 1 5     2

library(purrr)
df %>% 
  group_by(V1) %>% 
  group_map(~.x) %>% 
  set_names(unique(df$V1))
#> $a
#> # A tibble: 2 × 2
#>   V2    V3   
#>   <chr> <chr>
#> 1 1     2    
#> 2 2     3    
#> 
#> $b
#> # A tibble: 2 × 2
#>   V2    V3   
#>   <chr> <chr>
#> 1 3     4    
#> 2 4     2    
#> 
#> $c
#> # A tibble: 1 × 2
#>   V2    V3   
#>   <chr> <chr>
#> 1 5     2

^{在2023-03-04上创建的 reprex v2.0.2}