sparklyr

sparklyr

文章 0 浏览 0

SparklyR 中的 Java 堆空间错误整洁模型

您好, 我正在尝试使用 tidymodels 和 spark 引擎对大型数据集(2000000+ 行,~150 列)进行建模。但是,我收到以下错误: java.lang.OutOfMemoryErro…

谁把谁当真 2025-01-19 08:04:34 1 0

无法连接以通过rstudio中的闪闪发光

我使用以下代码连接到 Spark: sc <- spark_connect(master = "local") 收到一些错误消息: Exception in thread "main" java.lang.ExceptionInInitia…

櫻之舞 2025-01-18 15:46:50 1 0

使用 RSparkling 创建 H2O 上下文时出错

我正在使用 Yarn 运行 Spark 2.4.4,并使用 RSparkling 和 Sparklyr 进行接口连接, 按照 这些说明 我已经 安装了 Sparklyr 调用了 Sparklyr 的库 删…

守望孤独 2025-01-17 07:03:06 2 0

H2O 与 Sparklyr 配合使用时遇到问题

我正在尝试让 H2O 在我的 Spark 集群(纱线)上与 Sparklyr 配合使用 spark_version(sc) = 2.4.4 我的 Spark 集群正在运行 V2.4.4 根据 此页面与我的 …

叹倦 2025-01-17 04:42:01 1 0

如何以干净可读的格式显示 Sparklyr 表,类似于 Databricks 中 display() 的输出?

Databricks 存在内置的 display() 函数(请参阅文档 此处)允许用户以干净且人类可读的方式显示 R 或 SparkR 数据帧,用户可以滚动查看所有列并对列进…

数理化全能战士 2025-01-14 21:33:19 2 0

如何从 SparklyR 中的模型中提取 feature_importances?

我想从 SparklyR 中的模型中提取 feature_importances 。到目前为止,我有以下正在运行的可重现代码: library(sparklyr) library(dplyr) sc <- spark…

很快妥协 2025-01-14 17:10:10 3 0

使用 Sparklyr 在 Spark 中使用 dplyr 枢轴函数

我正在使用来自 CMS 的大型数据集,它当前存储在连接到我的 Spark 集群的 Hive 表中。 到目前为止,我还无法让 dplyr 枢轴函数工作,所以我一直在收集…

失而复得 2025-01-13 14:18:46 2 0

“Spark 2.4.3 S3 MultiObjectDeleteException”在sparklyr中

我真的很挣扎于这个错误,每当我尝试执行以下操作时,我都会遇到这个错误。我也尝试了旧链接中提供的所有建议,但徒劳无功。 spark_write_csv(final_d…

够运 2025-01-13 11:24:30 2 0

同一 Sparklyr data.frame 上的 sdf_nrow、collect() 和 sdf_collect() 返回不同的表作为输出

我有一个 Sparklyr data.frame patsEnrollment 我使用两种不同的方法将其转换为原生 R data.frame;一种使用 sdf_collect(),另一种使用 dplyr 中的 c…

幻想少年梦 2025-01-12 14:32:14 2 0
更多

推荐作者

琉璃梦幻

文章 0 评论 0

qq_4zWU6L

文章 0 评论 0

话少情深

文章 0 评论 0

彻夜缠绵

文章 0 评论 0

千寻…

文章 0 评论 0

更多

友情链接

    我们使用 Cookies 和其他技术来定制您的体验包括您的登录状态等。通过阅读我们的 隐私政策 了解更多相关信息。 单击 接受 或继续使用网站,即表示您同意使用 Cookies 和您的相关数据。
    原文