在 Java 中将 UTF-8 转换为 ISO-8859-1

Question

我正在读取 XML 文档 (UTF-8)，并最终使用 ISO-8859-1 在网页上显示内容。 正如预期的那样，有一些字符没有正确显示，例如 “、– 和 '（它们显示为？）。

是否可以将这些字符从 UTF-8 转换为 ISO-8859-1？

下面是我为尝试此操作而编写的一段代码：

BufferedReader br = new BufferedReader(new InputStreamReader(urlConnection.getInputStream(), "UTF-8"));
StringBuilder sb = new StringBuilder();

String line = null;
while ((line = br.readLine()) != null) {
  sb.append(line);
}
br.close();

byte[] latin1 = sb.toString().getBytes("ISO-8859-1");

return new String(latin1);

我不太确定出了什么问题，但我相信是 readLine() 导致了悲伤（因为字符串将采用 Java/UTF-16 编码？）。 我尝试的另一个变体是将 latin1 替换为

byte[] latin1 = new String(sb.toString().getBytes("UTF-8")).getBytes("ISO-8859-1");

我已阅读过有关该主题的先前帖子，并且我正在学习。 在此先感谢您的帮助。

Answer 1

我不确定标准库中是否有标准化例程可以执行此操作。 我不认为“智能”引号的转换是由标准 Unicode 标准化器 例程 - 但不要引用我的话。

明智的做法是转储 ISO-8859-1 并开始使用 <代码>UTF-8。 也就是说，可以将任何通常允许的 Unicode 代码点编码到编码为 ISO-8859-1 的 HTML 页面中。 您可以使用转义序列对它们进行编码，如下所示：

public final class HtmlEncoder {
  private HtmlEncoder() {}

  public static <T extends Appendable> T escapeNonLatin(CharSequence sequence,
      T out) throws java.io.IOException {
    for (int i = 0; i < sequence.length(); i++) {
      char ch = sequence.charAt(i);
      if (Character.UnicodeBlock.of(ch) == Character.UnicodeBlock.BASIC_LATIN) {
        out.append(ch);
      } else {
        int codepoint = Character.codePointAt(sequence, i);
        // handle supplementary range chars
        i += Character.charCount(codepoint) - 1;
        // emit entity
        out.append("&#x");
        out.append(Integer.toHexString(codepoint));
        out.append(";");
      }
    }
    return out;
  }
}

示例用法：

String foo = "This is Cyrillic Ya: \u044F\n"
    + "This is fraktur G: \uD835\uDD0A\n" + "This is a smart quote: \u201C";

StringBuilder sb = HtmlEncoder.escapeNonLatin(foo, new StringBuilder());
System.out.println(sb.toString());

上面，字符左双引号 ( U+201C “ ) 被编码为 “。 几个其他任意代码点也被类似地编码。

使用这种方法需要小心。 如果您的文本需要转义为 HTML，则需要在上述代码或与符号最终转义之前完成。

Answer 2

根据您的默认编码，以下行可能会导致问题，

byte[] latin1 = sb.toString().getBytes("ISO-8859-1");

return new String(latin1);

在 Java 中，String/Char 始终采用 UTF-16BE。 仅当将字符转换为字节时才涉及不同的编码。 假设您的默认编码是 UTF-8，latin1 缓冲区被视为 UTF-8，并且某些 Latin-1 序列可能形成无效的 UTF-8 序列，您将得到 ?。

Answer 3

使用 Java 8，McDowell 的答案可以像这样简化（同时保留代理对的正确处理）：

public final class HtmlEncoder {
    private HtmlEncoder() {
    }

    public static <T extends Appendable> T escapeNonLatin(CharSequence sequence,
                                                          T out) throws java.io.IOException {
        for (PrimitiveIterator.OfInt iterator = sequence.codePoints().iterator(); iterator.hasNext(); ) {
            int codePoint = iterator.nextInt();
            if (Character.UnicodeBlock.of(codePoint) == Character.UnicodeBlock.BASIC_LATIN) {
                out.append((char) codePoint);
            } else {
                out.append("&#x");
                out.append(Integer.toHexString(codePoint));
                out.append(";");
            }
        }
        return out;
    }
}

Answer 4

当实例化 String 对象时，您需要指示要使用哪种编码。

因此将 : 替换

return new String(latin1);

为

return new String(latin1, "ISO-8859-1");