Process Builder waitFor() 问题和打开文件限制

Question

我继承了一些代码：

Process p = new ProcessBuilder("/bin/chmod", "777", path).start();
p.waitFor();

基本上，有一些古老且高度巫术的原因将键/值对作为文件存储在磁盘上。 我真的不想深究。

然而，我留下了一堆 IO 异常：

Exception :Cannot run program "/bin/chmod": java.io.IOException: error=24, Too many open files
Message: Cannot run program "/bin/chmod": java.io.IOException: error=24, Too many open files

我所说的一堆是指在 10k - 数百万的范围内，

我感觉 waitFor 调用是为了阻止这些异常发生，等待进程完成并退出，但是我认为 chmod 在文件实际关闭之前返回结果。 有谁知道这是否是这些异常的原因？

我的另一个倾向是，在java端打开和关闭数千个文件的速度不够快，而且还发生了其他事情，也许是某种形式的文件缓冲区在打开和关闭时没有被清除。 fw.close() 正在被调用。

我对java很陌生，这是一个让我难住的奇怪的问题。 （很高兴该应用程序仍然以某种方式运行..在吐出一个非常大的日志文件之后）

其他人是否可以想出一种方法来解决这个问题，清除缓冲区或增加文件打开限制到jvm可以跟上自身的程度（假设这就是问题所在）

Answer 1

我假设您正在循环运行这些 chmod 命令 - 否则我不明白为什么您会遇到这么多异常。 您可能会遇到死锁，因为您没有读取生成进程的输出。 在 ProcessBuilder 之前的 Runtime.exec() 时代，这确实曾经困扰过我。

将您的代码片段更改为上述模式：（

try {
    ProcessBuilder pb = new ProcessBuilder("/bin/chmod", "777", path);    
    pb.redirectErrorStream(true); // merge stdout, stderr of process

    Process p = pb.start();
    InputStreamReader isr = new  InputStreamReader(p.getInputStream());
    BufferedReader br = new BufferedReader(isr);

    String lineRead;
    while ((lineRead = br.readLine()) != null) {
        // swallow the line, or print it out - System.out.println(lineRead);
    }

    int rc = p.waitFor();
    // TODO error handling for non-zero rc
}
catch (IOException e) {
    e.printStackTrace(); // or log it, or otherwise handle it
}
catch (InterruptedException ie) {
    ie.printStackTrace(); // or log it, or otherwise handle it
} 

来源：此站点）并查看是否可以对局势有所帮助。

Answer 2

感谢大家的帮助，这应该可以解决其他地方因此而发生的大量奇怪问题。

使用您的（Vinay）示例和流关闭：

try{ 
  fw.close();

  ProcessBuilder pb = new ProcessBuilder("/bin/chmod", "777", path);

  pb.redirectErrorStream(true); // merge stdout, stderr of process
  p = pb.start();

  InputStreamReader isr = new  InputStreamReader(p.getInputStream());
  BufferedReader br = new BufferedReader(isr);

  String lineRead;
  while ((lineRead = br.readLine()) != null) {
    // swallow the line, or print it out - System.out.println(lineRead);
  }

} catch (Exception ioe) {
  Logger.logException(Logger.WARN, ioe.getMessage(), ioe);
} finally {
  try {
    p.waitFor();//here as there is some snipped code that was causing a different
                // exception which stopped it from getting processed

    //missing these was causing the mass amounts of open 'files'
    p.getInputStream().close();
    p.getOutputStream().close();
    p.getErrorStream().close(); 

  } catch (Exception ioe) {
    Logger.logException(Logger.WARN, ioe.getMessage(), ioe);
  }
}

从 John B Mathews 那里得到这个想法 帖子。

Answer 3

如果不关闭文件，该过程似乎不太可能真正完成。 这会发生在大量线程中吗？ 或者其中一些实际上并未完成（即，在某些情况下它挂在 waitFor 处）？

否则，我认为您将因增加打开文件限制而陷入困境。 假设这是一个类 Unix 系统，“ulimit”命令可能就是您正在寻找的。

Answer 4

如果您使用的是 JAVA 6，您还可以在 File 对象上尝试新的 setter（用于读取、写入、执行）。 可能会慢一些，但应该可以。