Java Gridgain 应用程序在压力测试 1 天后开始失败

Question

因此，我有一个在 gridgain 之上运行的应用程序，并且在大约 12-24 小时的压力测试中非常成功，然后才开始表现得有趣。在这段时间之后，应用程序将突然开始回复所有查询，并出现 java.nio.channels.ClosedByInterruptException 异常（完整堆栈跟踪位于 http://pastie.org/664717

失败的方法是（编辑为使用@stephenc反馈）

public static com.vlc.edge.FileChannel createChannel(final File file) {
    FileChannel channel = null;
    try {
    channel = new FileInputStream(file).getChannel();
    channel.position(0);
    final com.vlc.edge.FileChannel fileChannel = new FileChannelImpl(channel);
    channel = null;
    return fileChannel;
    } catch (FileNotFoundException e) {
    throw new VlcRuntimeException("Failed to open file: " + file, e);
    } catch (IOException e) {
    throw new VlcRuntimeException(e);
    } finally {
    if (channel != null) {
        try {
        channel.close();
        } catch (IOException e){
        // noop
        LOGGER.error("There was a problem closing the file: " + file);
        }
    }
    }
}

并且调用函数正确关闭对象

private void fillContactBuffer(final File signFile) {
    contactBuffer = ByteBuffer.allocate((int) signFile.length());
    final FileChannel channel = FileUtils.createChannel(signFile);
    try {
        channel.read(contactBuffer);
    } finally {
        channel.close();
    }
    contactBuffer.rewind();
}

该应用程序基本上充当一个分布式文件解析器，因此它会执行很多此类操作（每个节点的每个查询通常会打开大约 10 个这样的通道），似乎在一段时间后它就不再能够打开文件，我不知所措。解释为什么会发生这种情况，并且非常感谢任何能够告诉我可能导致这种情况的人以及我如何追踪并修复它如果它可能与文件句柄耗尽有关，我很想听听。任何确定的提示...即在 JVM 运行时查询它或使用 Linux 命令行工具来查找有关当前打开的句柄的更多信息。

更新：我一直在使用命令行工具来询问 lsof 的输出，但没有看到任何文件句柄保持打开状态的证据...网格中的每个节点都有一个打开的文件的配置文件非常稳定，我可以看到随着上述代码的执行而发生变化......但它总是返回到稳定数量的打开文件。

与此问题相关：释放java文件句柄

Answer 1

在多种情况下，文件句柄可能不会被关闭：

1. 可能有一些其他代码打开文件。
2. 可能还有一些其他代码调用 createChannel(...) 但不调用 fillContactBuffer(...)

3. If channel。 position(0) 抛出异常，通道不会关闭。修复方法是重新排列代码，以便以下语句位于 try 块内。

   channel.position(0);
   返回新的 FileChannelImpl(通道);
   

编辑：查看堆栈跟踪，这两种方法似乎位于不同的代码库中。我会把责任归咎于 createChannel 方法。即使它不是问题的根源，它也可能存在泄漏。它需要一个内部的finally子句来确保通道在发生异常时关闭。

像这样的事情应该可以解决问题。请注意，您需要确保 finally 块不会在成功时关闭通道！

public static com.vlc.edge.FileChannel createChannel(final File file) {
    final FileChannel channel = null;
    try {
        channel = new FileInputStream(file).getChannel();
        channel.position(0);
        FileChannel res = new FileChannelImpl(channel);
        channel = null;
        return res;
    } catch (FileNotFoundException e) {
        throw new VlcRuntimeException("Failed to open file: " + file, e);
    } catch (IOException e) {
        throw new VlcRuntimeException(e);
    } finally {
        if (channel != null) {
            try {
                channel.close();
            } catch (...) {
                ... 
            }
        }
    }
}

---

FOLLOWUP 很久以后

鉴于文件句柄泄漏已被排除为可能的原因，我的下一个理论是服务器端实际上正在使用 Thread.interrupt() 中断自己的线程>。一些低级 I/O 调用通过抛出异常来响应中断，这里抛出的根异常看起来就像这样一个异常。

这并不能解释为什么会发生这种情况，但我大胆猜测，这是服务器端框架试图解决过载或死锁问题。