使用 Sparklyr 在 Spark 中使用 dplyr 枢轴函数

Question

我正在使用来自 CMS 的大型数据集，它当前存储在连接到我的 Spark 集群的 Hive 表中。

到目前为止，我还无法让 dplyr 枢轴函数工作，所以我一直在收集数据，然后在 R 中的数据上运行一大堆 dplyr 动词。

我最近用完了一些我的内存最新的处理步骤，我想知道我的操作是否可以在 Spark 中完成，而不是在本地完成。

TL;DR

dplyrivot_longer 是否在 Spark 上运行？

Answer 1

事实证明，您可以在 Spark 数据帧上运行 dplyr 动词，回到我的纱线集群上的绘图板

library(sparklyr)
library(tidyverse)

spark_install(version = "3.0.3", hadoop_version = "3.2")

spark_home_set('C:/Users/Me/AppData/Local/spark/spark-3.0.3-bin-hadoop3.2')

sc <- spark_connect(master = "local")

tbl_mtcars <- copy_to(sc, mtcars, "spark_mtcars")

x <- tbl_mtcars %>% 
  group_by(cyl) %>% 
  pivot_longer(!cyl,names_to = "variable",values_to = "values") %>% 
  collect()