如何在不使用 BOM 的情况下识别不同的编码？

Question

我有一个文件观察器，它从使用 utf-16LE 编码的不断增长的文件中获取内容。写入其中的第一位数据具有可用的 BOM——我使用它来识别针对 UTF-8 的编码（我传入的大部分文件都是用该编码进行编码的）。我捕获 BOM 并重新编码为 UTF-8，这样我的解析器就不会崩溃。问题是，由于它是一个不断增长的文件，因此并非每一位数据都包含 BOM。

这是我的问题 - 如果不将 BOM 字节添加到我拥有的每组数据中（因为我无法控制源），我可以只查找 UTF 中固有的空字节吗？ 16 \000，然后使用它作为我的标识符而不是 BOM？这会让我以后头疼吗？

我的架构涉及一个 ruby​​ Web 应用程序，当我用 java 编写的解析器接收到接收到的数据时，将其记录到临时文件中。

现在编写我的识别/重新编码代码，如下所示：

  // guess encoding if utf-16 then
  // convert to UTF-8 first
  try {
    FileInputStream fis = new FileInputStream(args[args.length-1]);
    byte[] contents = new byte[fis.available()];
    fis.read(contents, 0, contents.length);

    if ( (contents[0] == (byte)0xFF) && (contents[1] == (byte)0xFE) ) {
      String asString = new String(contents, "UTF-16");
      byte[] newBytes = asString.getBytes("UTF8");
      FileOutputStream fos = new FileOutputStream(args[args.length-1]);
      fos.write(newBytes);
      fos.close();
    }

    fis.close();
    } catch(Exception e) {
      e.printStackTrace();
  }

更新

我想支持欧元、破折号和其他字符等内容。 我将上面的代码修改为如下所示，它似乎通过了我所有的测试 对于那些角色：

  // guess encoding if utf-16 then
  // convert to UTF-8 first
  try {
    FileInputStream fis = new FileInputStream(args[args.length-1]);
    byte[] contents = new byte[fis.available()];
    fis.read(contents, 0, contents.length);
    byte[] real = null;

    int found = 0;

    // if found a BOM then skip out of here... we just need to convert it
    if ( (contents[0] == (byte)0xFF) && (contents[1] == (byte)0xFE) ) {
      found = 3;
      real = contents;

    // no BOM detected but still could be UTF-16
    } else {

      for(int cnt=0; cnt<10; cnt++) {
        if(contents[cnt] == (byte)0x00) { found++; };

        real = new byte[contents.length+2];
        real[0] = (byte)0xFF;
        real[1] = (byte)0xFE;

        // tack on BOM and copy over new array
        for(int ib=2; ib < real.length; ib++) {
          real[ib] = contents[ib-2];
        }
      }

    }

    if(found >= 2) {
      String asString = new String(real, "UTF-16");
      byte[] newBytes = asString.getBytes("UTF8");
      FileOutputStream fos = new FileOutputStream(args[args.length-1]);
      fos.write(newBytes);
      fos.close();
    }

    fis.close();
    } catch(Exception e) {
      e.printStackTrace();
  }

你们觉得怎么样？

Answer 1

一般来说，你无法100%准确地识别数据流的字符编码。您能做的最好的事情就是尝试使用一组有限的预期编码进行解码，然后对解码结果应用一些启发式方法，看看它是否“看起来像”预期语言中的文本。 （但是任何启发式方法都会对某些数据流给出误报和漏报。）或者，让人工参与循环来决定哪种解码最有意义。

更好的解决方案是重新设计协议，以便提供数据的任何内容也必须提供用于数据的编码方案。 （如果你不能，请责怪负责设计/实现无法为你提供编码方案的系统的人！）。

编辑：根据您对问题的评论，数据文件是通过 HTTP 传递的。在这种情况下，您应该安排您的 HTTP 服务器捕获传递数据的 POST 请求的“内容类型”标头，从标头中提取字符集/编码，并将其保存在文件解析器可以使用的方式/位置处理。

Answer 2

毫无疑问，这会给你带来麻烦。您可以检查简单情况下的交替零字节（仅限 ASCII、UTF-16、任一字节顺序），但是当您开始获取高于 0x7f 代码点的字符流时，该方法就变得毫无用处。

如果您有文件句柄，最好的办法是保存当前文件指针，查找到开头，读取 BOM，然后查找回原始位置。

要么这样，要么以某种方式记住 BOM。

依赖数据内容是一个坏主意，除非您绝对确定所有输入的字符范围都将受到限制。

Answer 3

此问题包含一些字符检测选项，这些选项似乎不需要 BOM。

我的项目当前正在使用 jCharDet 但我可能需要查看那里列出的其他一些选项，因为 jCharDet 是不是100%可靠。