如何在Java中将UTF-8表示解析为字符串？

Question

给出以下代码：

String tmp = new String("\\u0068\\u0065\\u006c\\u006c\\u006f\\u000a");

String result = convertToEffectiveString(tmp); // result contain now "hello\n"

JDK 是否已经提供了一些用于执行此操作的类？ 有一个库可以做到这一点吗？ （最好在maven下）

我尝试使用ByteArrayOutputStream但没有成功。

Answer 1

这有效，但仅适用于 ASCII。如果您使用 ASCCI 范围之外的 unicode 字符，则会遇到问题（因为每个字符都被填充到一个字节中，而不是 UTF-8 允许的完整单词中）。您可以执行下面的类型转换，因为您知道如果您保证输入基本上是 ASCII（正如您在评论中提到的），则 UTF-8 不会溢出一个字节。

package sample;

import java.io.UnsupportedEncodingException;

public class UnicodeSample {
    public static final int HEXADECIMAL = 16;

    public static void main(String[] args) {

        try {
            String str = "\\u0068\\u0065\\u006c\\u006c\\u006f\\u000a";

            String arr[] = str.replaceAll("\\\\u"," ").trim().split(" ");
            byte[] utf8 = new byte[arr.length];

            int index=0;
            for (String ch : arr) {
                utf8[index++] = (byte)Integer.parseInt(ch,HEXADECIMAL);
            }

            String newStr = new String(utf8, "UTF-8");
            System.out.println(newStr);

        }
        catch (UnsupportedEncodingException e) {
            // handle the UTF-8 conversion exception
        }
    }
}

这是另一个解决方案，解决了仅使用 ASCII 字符的问题。这将适用于 UTF-8 范围内的任何 unicode 字符，而不是仅适用于该范围的前 8 位的 ASCII。感谢 deceze 的提问。你让我更多地思考问题和解决方案。

package sample;

import java.io.UnsupportedEncodingException;
import java.util.ArrayList;

public class UnicodeSample {
    public static final int HEXADECIMAL = 16;

    public static void main(String[] args) {

        try {
            String str = "\\u0068\\u0065\\u006c\\u006c\\u006f\\u000a\\u3fff\\uf34c";

            ArrayList<Byte> arrList = new ArrayList<Byte>();
            String codes[] = str.replaceAll("\\\\u"," ").trim().split(" ");

            for (String c : codes) {

                int code = Integer.parseInt(c,HEXADECIMAL);
                byte[] bytes = intToByteArray(code);

                for (byte b : bytes) {
                    if (b != 0) arrList.add(b);
                }
            }

            byte[] utf8 = new byte[arrList.size()];
            for (int i=0; i<arrList.size(); i++) utf8[i] = arrList.get(i);

            str = new String(utf8, "UTF-8");
            System.out.println(str);
        }
        catch (UnsupportedEncodingException e) {
            // handle the exception when
        }
    }

    // Takes a 4 byte integer and and extracts each byte
    public static final byte[] intToByteArray(int value) {
        return new byte[] {
                (byte) (value >>> 24),
                (byte) (value >>> 16),
                (byte) (value >>> 8),
                (byte) (value)
        };
    }
}

Answer 2

首先，您只是想解析字符串文字，还是 tmp 将是一些用户输入的数据？

如果这是一个字符串文字（即硬编码字符串），则可以使用 Unicode 转义对其进行编码。在您的情况下，这仅意味着使用单反斜杠而不是双反斜杠：

String result = "\u0068\u0065\u006c\u006c\u006f\u000a";

但是，如果您需要使用 Java 的字符串解析规则来解析用户输入，那么 Apache Commons Lang 的 StringEscapeUtils.unescapeJava() 方法。

Answer 3

我确信一定有更好的方法，但仅使用 JDK：

public static String handleEscapes(final String s)
{
    final java.util.Properties props = new java.util.Properties();
    props.setProperty("foo", s);
    final java.io.ByteArrayOutputStream baos = new java.io.ByteArrayOutputStream();
    try
    {
        props.store(baos, null);
        final String tmp = baos.toString().replace("\\\\", "\\");
        props.load(new java.io.StringReader(tmp));
    }
    catch(final java.io.IOException ioe) // shouldn't happen
        { throw new RuntimeException(ioe); }
    return props.getProperty("foo");
}

使用 java.util.Properties.load(java.io.Reader) 来处理反斜杠转义（第一次使用 java.util.Properties.store(java.io.OutputStream, java.lang.String) 反斜杠转义任何可能导致问题的内容属性文件，然后使用 replace("\\\\", "\\") 反转原始反斜杠的反斜杠转义。

（免责声明：尽管我测试了我能想到的所有情况，但仍然可能有一些我没有想到的情况。）