Java InputStream 读取方法返回 ASCII“NUL”； NFS 挂载位置中文件的字符

Question

我有一个 Java 进程，它使用 Java RandomAccessFile 读取给定的文件，并根据文件内容进行一些处理。该文件是一个日志文件，由另一个 java 进程更新。读取该文件的 java 进程位于另一台计算机上，并且具有 NFS 挂载设置来访问远程服务器中的文件。基本上，读取文件的进程将根据文件长度和 RandomAccessFile 的位置轮询文件中的更改，并为遇到的每个字节调用处理程序方法。问题是我有时会从 RandomAccessFile 读取方法返回 ASCII“NUL”字符

int charInt = read();

，即 charInt 在某些情况下返回 0，一段时间后它会返回有效字符。但后来我在 NUL 中读取流时丢失了字符，

我尝试使用 http://commons.apache.org/io/apidocs/org/apache/commons/io/input/Tailer.html 我收到每一行的通知。但在这些行中我有时会注意到 ASCII NUL 字符。 我还经历了 unix/linux“tail 的 Java IO 实现” -f" - 我的java进程是类似的，但后来我开始认为问题出在NFS挂载或尝试从NFS挂载读取时出现一些错误的java IO。我进行了一些测试，从普通文件（不在 NFS 挂载中）读取数据，并有一个进程连续写入该文件。所有这些测试都很成功。 我还尝试了 java BufferedReader 因为文件流实际上是字符流，即使我可以将其视为字节流。我仍然收到 NUL 字符。

不确定这是否重要 - NFS 挂载是只读 (ro) 挂载。 感谢对此的任何帮助。谢谢。

我也尝试了以下操作：

FileWriter fileWriter;
    try {
        fileWriter = new FileWriter("<OUT_FILE>", true);
    } catch (IOException e) {
        throw new RuntimeException("Exception while creating file to write sent messages ", e);
    }
    BufferedWriter bufWriter = new BufferedWriter(fileWriter);

    Runtime r = Runtime.getRuntime();
    Process p = r.exec("tail -f <PATH_TO_IN_FILE>");
    Scanner s = new Scanner(p.getInputStream());
    while (s.hasNextLine()) {     
        String line = s.nextLine(); 
        bufWriter.write(line);
        bufWriter.write(System.getProperty("line.separator"));
        bufWriter.flush();

    }
    bufWriter.close();                               

但我仍然收到 NUL 字符。在这里，我将读取的行写入文件，以便我可以比较 IN 文件和 OUT 文件。我有时会看到行被跳过（带有 NUL 字符）。所有其他行都比较正常 - 因此，从大约 13000 行中，我们看到大约 100 行不匹配。另外一件奇怪的事情是，我运行的次数较少，我也可以在这里看到 NUL 字符，基本上是以下形式^C^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@ ^@^@^@^@^@^@^@^@^@ ^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@^@ ^@^@^@^@^@^@^@^@^@ 然后是有效行。在丢失行期间我注意到的另一件事是，文件在写入过程中更新得非常快，因此基本上一条 xml 消息在 20110729 13:44:06.070097 写入文件，然后下一条消息在 20110729 13 :44:06.100007。第二条 xml 消息中遗漏了几行。更多发现：我们读取文件的文件路径位于共享 NAS 中。

Answer 1

我意识到这个问题已经存在一年多了，但我会添加我所知道的内容，以防其他有这个问题的人像我一样偶然发现它。

此问题中描述的 NUL 字符是由于对正在读取的文件进行异步写入而出现的。更具体地说，来自远程文件写入器的数据包已无序到达，并且 NAS 缓冲区已提交较晚的数据包并用 NUL 字符填充未接收数据的区域。当收到丢失的数据包时，NAS 缓冲区会提交该数据包，并覆盖那些空字符。

在我们第一次遇到这种情况的应用程序中，我们正在逐行读取文件，并跟踪成功读取的最后一个行号（这样我们就可以随时停止并从中断处重新启动）。我们处理这个问题的临时解决方案只是在每次读取时专门检查“\0”，当遇到它时，关闭文件，等待 1 秒钟并重新打开文件，排队到我们上次停下的地方。通常，当我们再次读取该行时，实际文本已被提交。

虽然关闭并重新打开文件可能看起来很戏剧性，但不这样做进行恢复是有问题的。您无法标记/重置 BufferedReader 来解决此问题，因为一旦将字符读入阅读器的缓冲区，它们就不会从文件中重新读取，只会在您每次尝试再次读取时重新读取。

获取底层 FileChannel 以及读取和设置 position() 也会失败，因为文件中的位置包含读入缓冲区的字符，而您可能还没有看到，并且最终将跳过那些看不见的数据。

我们正在测试一个解决方案，我们扩展了 InputStreamReader 类并覆盖 read(char[], int, int) 方法以使用文件通道在每次读取之前获取位置，调用超类的 read 方法，检查 \0 并重置如果找到，则返回文件通道位置，返回 0 作为读取的字符数。

Answer 2

您是否尝试过这样的操作：

  BufferedReader input = new BufferedReader(new FileReader(args[0]));
  String currentLine = null;

  while (true) {

    if ((currentLine = input.readLine()) != null) {
      System.out.println(currentLine);
      continue;
    }
    try {
      Thread.sleep(sleepTime);
    } catch (InterruptedException e) {
      Thread.currentThread().interrupt();
      break;
    }
   }

如果无法从文件中读取任何内容，currentLine 将为 null ...

我怀疑存在特定的 NFS + Java 问题，虚拟机应该不知道您通过 NFS 访问文件的事实。