“修复” Java中的字符串编码

Question

我有一个使用 UTF-8 编码从 byte[] 数组创建的 String。
但是，它应该是使用另一种编码（Windows-1252）创建的。

有没有办法将此字符串转换回正确的编码？

我知道如果您可以访问原始字节数组，这很容易做到，但就我而言，为时已晚，因为它是由闭源库提供的。

Answer 1

由于这是否可能似乎存在一些困惑，我认为我需要提供一个广泛的例子。

该问题声称（初始）输入是一个 byte[] ，其中包含 Windows-1252 编码数据。我将其称为 byte[] ib （“初始字节”）。

在这个例子中，我将选择德语单词“Bär”（意思是熊）作为输入：（

byte[] ib = new byte[] { (byte) 0x42, (byte) 0xE4, (byte) 0x72 };
String correctString = new String(ib, "Windows-1252");
assert correctString.charAt(1) == '\u00E4'; //verify that the character was correctly decoded.

如果您的 JVM 不支持该编码，那么您可以使用 ISO-8859-1 代替，因为这三个字母（以及大多数其他）在这两种编码中处于相同位置）。

问题继续指出，其他一些代码（不在我们的影响范围内）已经使用 UTF-8 编码将 byte[] 转换为字符串（我将其称为 String 是“输入字符串”）。该String是可用于实现我们目标的唯一输入（如果ib可用，那将是微不足道的）：

String is = new String(ib, "UTF-8");
System.out.println(is);

这显然会产生错误的输出“B�”。

目标是生成 ib（或该 byte[] 的正确解码），且仅可用。 。

现在有些人声称从 is 获取 UTF-8 编码字节将返回一个与初始数组具有相同值的数组：

byte[] utf8Again = is.getBytes("UTF-8");

但这会返回 UTF-8 编码两个字符 B 和 � 的组合，并且在重新解释为 Windows-1252 时肯定会返回错误的结果：

System.out.println(new String(utf8Again, "Windows-1252");

此行产生输出“B�”，这完全是错误（如果初始数组包含非单词“Bür”，则结果也是相同的输出）。

因此在这种情况下您无法撤消该操作，因为一些信息丢失了。

事实上，在有情况下，这种错误编码是可以被撤销的。当所有可能的（或至少出现的）字节序列在该编码中都有效时，它更有可能起作用。由于 UTF-8 有几个字节序列根本不是有效值，因此您将会遇到问题。

Answer 2

我尝试了这个，由于某种原因它工作了

修复编码问题的代码（它不能完美工作，我们很快就会看到）：

 final Charset fromCharset = Charset.forName("windows-1252");
 final Charset toCharset = Charset.forName("UTF-8");
 String fixed = new String(input.getBytes(fromCharset), toCharset);
 System.out.println(input);
 System.out.println(fixed);

结果是：

 input: …Und ich beweg mich (aber heut nur langsam)
 fixed: …Und ich beweg mich (aber heut nur langsam)

这是另一个例子：

 input: Waun da wuan ned wa (feat. Wolfgang Kühn)
 fixed: Waun da wuan ned wa (feat. Wolfgang Kühn)

这是正在发生的事情以及为什么上面的技巧似乎有效：

1. 原始文件是 UTF-8 编码的文本文件（逗号分隔）
2. 该文件是用 Excel 导入的，但用户错误地输入了 Windows 1252 作为编码（这可能是他或她计算机上的默认编码）
3. 用户认为导入是成功是因为 ASCII 范围内的所有字符看起来都没有问题。

现在，当我们尝试“反转”该过程时，会发生以下情况：

 // we start with this garbage, two characters we don't want!
 String input = "ü";

 final Charset cp1252 = Charset.forName("windows-1252");
 final Charset utf8 = Charset.forName("UTF-8");

 // lets convert it to bytes in windows-1252:
 // this gives you 2 bytes: c3 bc
 // "Ã" ==> c3
 // "¼" ==> bc
 bytes[] windows1252Bytes = input.getBytes(cp1252);

 // but in utf-8, c3 bc is "ü"
 String fixed = new String(windows1252Bytes, utf8);

 System.out.println(input);
 System.out.println(fixed);

上面的编码修复代码可以工作，但对于以下字符失败：（

假设唯一的字符使用 Windows 1252 中的 1 字节字符）：

char    utf-8 bytes     |   string decoded as cp1252 -->   as cp1252 bytes 
”       e2 80 9d        |       â€�                        e2 80 3f
Á       c3 81           |       Ã�                         c3 3f
Í       c3 8d           |       Ã�                         c3 3f
Ï       c3 8f           |       Ã�                         c3 3f
Р      c3 90           |       �                         c3 3f
Ý       c3 9d           |       Ã�                         c3 3f

它确实适用于一些字符，例如这些：

Þ       c3 9e           |       Þ      c3 9e           Þ
ß       c3 9f           |       ß      c3 9f           ß
à       c3 a0           |       à      c3 a0           à
á       c3 a1           |       á      c3 a1           á
â       c3 a2           |       â      c3 a2           â
ã       c3 a3           |       ã      c3 a3           ã
ä       c3 a4           |       ä      c3 a4           ä
å       c3 a5           |       Ã¥      c3 a5           å
æ       c3 a6           |       æ      c3 a6           æ
ç       c3 a7           |       ç      c3 a7           ç

注意 - 我最初认为这与你的问题相关（并且因为我自己也在做同样的事情，所以我想我会分享我学到的东西），但看来我的问题有点不同的。也许这会帮助别人。

Answer 3

你想做的事情是不可能的。一旦有了 Java String，有关字节数组的信息就会丢失。您可能会幸运地进行“手动转换”。创建所有 windows-1252 字符及其到 UTF-8 的映射的列表。然后迭代字符串中的所有字符，将它们转换为正确的编码。

编辑：
正如评论者所说，这行不通。当您将 Windows-1252 字节数组转换为 UTF-8 时，您必然会遇到编码异常。 （请参阅此处和此处）。

Answer 4

您可以使用此 教程

您需要的字符集应该在 rt.jar 中定义（根据 this )