“内存不足错误（Java）”使用 R 和 XLConnect 包时

Question

我尝试使用 XLConnect 包将约 30MB 的 Excel 电子表格加载到 R 中。

这就是我写的：

wb <- loadWorkbook("largespreadsheet.xlsx")

大约 15 秒后，我收到以下错误：

错误：OutOfMemoryError (Java)：超出 GC 开销限制。

这是 XLConnect 软件包的限制还是有办法调整我的内存设置以允许更大的文件？

我很感激任何解决方案/提示/建议。

Answer 1

请遵循其网站的建议:

options(java.parameters = "-Xmx1024m")
library(XLConnect)

Answer 2

如果您在导入 XLSX 文件时仍然遇到问题，可以使用此选项。带有“Xmx1024m”的 Anwser 不起作用，我改为“-Xmx4g”。

options(java.parameters = "-Xmx4g" )
library(XLConnect)

此链接很有用。

Answer 3

万一有人在读取不是一个大文件而是许多个文件时遇到此错误，我设法通过使用 xlcFreeMemory() 释放 Java 虚拟机内存来解决此错误，因此：

files <- list.files(path, pattern = "*.xlsx")
for (i in seq_along(files)) {
    wb <- loadWorkbook(...)
    ...
    rm(wb)
    xlcFreeMemory()  # <= free Java Virtual Machine memory !
}

Answer 4

在 openxlsx 中使用 read.xlsx() > 包。它不依赖于 rJava，因此仅具有 R 本身的内存限制。我还没有深入探索如何编写和格式化 XLSX，但它有一些看起来很有前途的小插曲。对于阅读大型电子表格，它效果很好。

向@Brad-Horn 致敬。我刚刚将他的评论作为答案，因为我也发现这是最好的解决方案！

Answer 5

每当您使用依赖于 rJava 的库（例如我的例子中的 RWeka）时，总有一天您会遇到默认堆空间（512 MB）。现在，当您使用 Java 时，我们都知道要使用的 JVM 参数（如果您需要 2 GB RAM，则为 -Xmx2048m）。这里只是如何在 R 环境中指定它的问题。

   options(java.parameters = "-Xmx2048m")
   library(rJava)

Answer 6

正如此处，确保运行代码第一行中的选项函数。就我而言，只有当我重新启动 R 会话并在第一行运行它时，它才起作用。

options(java.parameters = "-Xmx4g" )
library(XLConnect)

Answer 7

当您一遍又一遍地使用相同的 R 会话而不重新启动 R-Studio 时，情况似乎就是这样。重新启动 R-Studio 有助于为程序分配新的内存堆。它立即对我有用。