SparklyR 中的 Java 堆空间错误整洁模型
您好, 我正在尝试使用 tidymodels 和 spark 引擎对大型数据集(2000000+ 行,~150 列)进行建模。但是,我收到以下错误: java.lang.OutOfMemoryErro…
无法连接以通过rstudio中的闪闪发光
我使用以下代码连接到 Spark: sc <- spark_connect(master = "local") 收到一些错误消息: Exception in thread "main" java.lang.ExceptionInInitia…
使用 RSparkling 创建 H2O 上下文时出错
我正在使用 Yarn 运行 Spark 2.4.4,并使用 RSparkling 和 Sparklyr 进行接口连接, 按照 这些说明 我已经 安装了 Sparklyr 调用了 Sparklyr 的库 删…
H2O 与 Sparklyr 配合使用时遇到问题
我正在尝试让 H2O 在我的 Spark 集群(纱线)上与 Sparklyr 配合使用 spark_version(sc) = 2.4.4 我的 Spark 集群正在运行 V2.4.4 根据 此页面与我的 …
如何以干净可读的格式显示 Sparklyr 表,类似于 Databricks 中 display() 的输出?
Databricks 存在内置的 display() 函数(请参阅文档 此处)允许用户以干净且人类可读的方式显示 R 或 SparkR 数据帧,用户可以滚动查看所有列并对列进…
如何从 SparklyR 中的模型中提取 feature_importances?
我想从 SparklyR 中的模型中提取 feature_importances 。到目前为止,我有以下正在运行的可重现代码: library(sparklyr) library(dplyr) sc <- spark…
使用 Sparklyr 在 Spark 中使用 dplyr 枢轴函数
我正在使用来自 CMS 的大型数据集,它当前存储在连接到我的 Spark 集群的 Hive 表中。 到目前为止,我还无法让 dplyr 枢轴函数工作,所以我一直在收集…
“Spark 2.4.3 S3 MultiObjectDeleteException”在sparklyr中
我真的很挣扎于这个错误,每当我尝试执行以下操作时,我都会遇到这个错误。我也尝试了旧链接中提供的所有建议,但徒劳无功。 spark_write_csv(final_d…
同一 Sparklyr data.frame 上的 sdf_nrow、collect() 和 sdf_collect() 返回不同的表作为输出
我有一个 Sparklyr data.frame patsEnrollment 我使用两种不同的方法将其转换为原生 R data.frame;一种使用 sdf_collect(),另一种使用 dplyr 中的 c…
- 共 1 页
- 1