Java中的八进制转义导致错误的字节值，编码问题？

Question

根据此文档（ http://java.sun.com/ docs/books/jls/third_edition/html/lexical.html , 3.10.6) OctalEscape 将转换为 unicode 字符。现在我遇到问题，以下代码将导致 2 字节 Unicode 字符包含错误信息。

for (byte b : "\222".getBytes()) {
     System.out.format("%02x ", b);
}

结果是“c2 92”。我只解释了“92”，因为这将是从八进制 222 到十六进制 (92) 的转换值。 如果我用字符测试它，则字节信息是正确的。

System.out.format("%02x ", (byte)'\222');

结果是“92”为一个字节” 在使用 Java/c 1.6.0_18 的 Linux 上，我的默认编码是“UTF-8”。

我的问题的背景是，我正在寻找一种方法将八进制转义字符串从输入编码 Cp1252 转换为 UTF-8。由于八进制转义字符串转换为 2 个字节，因此此操作失败。 有人知道为什么总是在 char 数组中添加一个额外的字节“c2”吗？简单的计数表明，数组中只有一个字符。

System.out.println("\222".toCharArray().length); // will result in "1"

谢谢你的提示。

更新： 正如 BalusC 提到的，八进制转义值被解释为 UTF-8 值，这会产生问题。只要这个值保存在源代码（UTF-8）中，我就不可能用其他编码读取这个字符串。我说得对吗？如果我读取 Cp1252 编码的文件，我必须使用正确的字符集声明 InputReader 的字符集，并对 UTF-8 进行编码以处理读取的内容并将其保存为 UTF-8。

Answer 1

String#没有指定编码的 getBytes() 调用将使用平台默认编码将字符转换为字节。由于 c2 是 的两字节字符的典型第一个字节多字节 UTF-8 序列，显然您正在使用 UTF-8 作为平台默认编码。如果您想获取 CP1252 字节，则需要在 String#getBytes(String charsetName) 方法。

for (byte b : "\222".getBytes("cp1252")) {
     System.out.format("%02x ", b);
}

---

根据您的更新更新：

只要这个值保存在源代码（UTF-8）中，我就不可能用其他编码读取这个字符串。我是对的吗？

这是正确的。您需要使用与保存文件时相同的编码来读取文件，否则您可能会面临 mojibake。

如果我读取 Cp1252 编码的文件，我必须使用正确的字符集声明 InputReader 的字符集，并对 UTF-8 进行编码以处理读取的内容并将其保存为 UTF-8。

只需使用 InputStreamReader 将文件读取为 CP1252。当读取为字符（字符串）时，Java 会将其隐式存储为 Unicode (UTF-16)。您可以将数据视为 Unicode。无需引入中间 UTF-8 文件步骤。如果要保存文件，请使用 OutputStreamWriter 和所需的字符集，这可能与 CP1252 不同。请记住，任何未被字符集覆盖的字符最终都会成为 ?。

另请参阅：

• Unicode - 如何获得正确的字符？

Answer 2

Java 中的所有字符和字符串都是 UTF-16。因此，您已输入控制字符 U+0092 PRIVATE USE TWO 并对其进行编码到 UTF-8（编码为 UTF-8 时该字符占用两个字节）。以 UTF-16 以外的任何方式编码的字符必须由字节数组表示。

U+2019: '

我猜你打算对字符进行转码 U+2019 右单引号马克。在 windows-1252 中，其字节值为 92。我不想让大家失望，但是当编码为 UTF-8 时，这将最终成为多字节序列 E2 80 99。

另请注意，U+2019 不能用 Java 中的八进制转义序列表示，因为它的值超过 U+00FF。您必须使用 Unicode 转义序列 \u2019。我在这里写了一篇关于不同语言转码的博客文章 以及 Java 源文件中的编码 这里。