无法解析和显示从 http 请求读取的非 utf8 字符

Question

我正在使用 Java 解析此请求

http://ajax.googleapis.com/ajax/services/search/web?start=0&rsz=large&v=1.0&q=rz+img+ news+recordid+border

结果是这个（为了简洁而被截断）JSON 文件：

{"responseData":{"results":
<...>
"visibleUrl":"www.coolcook.net",
"cacheUrl":"http://www.google.com/search?q\u003dcache:p4Ke5q6zpnUJ:www.coolcook.net",
"title":"مطبخ مطايب - كباب الدجاج والخضار بصلصة الروب",
"titleNoFormatting":"مطبخ مطايب - كباب الدجاج والخضار بصلصة الروب","\u003drz+img+news+recordid+border"}}, 
<...>
"responseDetails": null, "responseStatus": 200}

我的问题在于返回的阿拉伯字符（可能是任何非 unicode 的字符）。我尝试使用类似以下内容将它们转换回 unicode：

JSONArray ja = json.getJSONObject("responseData").getJSONArray("results");
JSONObject j = ja.getJSONObject(i);
str = j.getString("titleNoFormatting");
logger.log("before: " + str); // this is just my version of println
enc_str = new String (str.getBytes(), "UTF8");
logger.log("after: " + enc_str);

但是，“之前”和“之后”结果是相同的：一组 ???? 的，无论我是否将它们输出到服务器日志文件或在 HTML 页面中。还有另一种方法可以取回阿拉伯字符并将其输出到网页中吗？

JSON 是否有针对此类问题的任何支持功能，以便直接从 JSONObject 读取非 utf 字符？

Answer 1

您遇到的问题很可能是由于您在 google 的 http 响应中读取时字符编码设置不正确造成的。您能发布实际获取 URL 并将其解析为 JSON 对象的代码吗？

作为示例，运行以下命令：

public class Test1 {
  public static void main(String [] args) throws Exception {

    // just testing that the console can output the correct chars
    System.out.println("\"title\":\"مطبخ مطايب - كباب الدجاج والخضار بصلصة الروب");

    URL url = new URL("http://ajax.googleapis.com/ajax/services/search/web?start=0&rsz=large&v=1.0&q=rz+img+news+recordid+border");
    HttpURLConnection connection = (HttpURLConnection) url.openConnection();
    InputStream is  = connection.getInputStream();

    // the important bit is here..........................\/\/\/
    InputStreamReader reader = new InputStreamReader(is, "utf-8");


    StringWriter sw = new StringWriter();

    char [] buffer = new char[1024 * 8];
    int count ;

    while( (count = reader.read(buffer)) != -1){
      sw.write(buffer, 0, count);
    }

    System.out.println(sw.toString());
  }
}

这使用了自诞生以来就存在的相当丑陋的标准 URL.openConnection()。如果您使用的是 Apache httpclient 之类的东西，那么您可以非常轻松地做到这一点。

有关编码的一些背景阅读，或许还可以解释为什么 new String (str.getBytes(), "UTF8"); 永远不会工作，请阅读 Joel 关于 unicode 的文章

Answer 2

我认为 JSON.org Java JSON 包无法处理 UTF8，无论是作为 UTF8 字符传入还是实际传入 \uXXXX 代码。我尝试了以下两种方法：

import org.json.
public class JsonTest extends TestCase {
    public void testParseText() {
        try {
            JSONObject json1 = new JSONObject("{\"a\":\"\u05dd\"}"); // \u05dd is a Hebrew character
            JSONObject json2 = new JSONObject("{\"a\":\"\\u05dd\"}"); // \u05dd is a Hebrew character
            System.out.println(json1.toString());
            System.out.println(json2.toString());
        } catch (JSONException e) {
            e.printStackTrace();
        }
    }
}

我得到：

{"a":"?"}
{"a":"?"}

有什么想法吗？

Answer 3

问题的重要部分是如何处理 HTTP 响应的内容。也就是说，您如何创建 json 对象？当您看到原始帖子中的代码时，内容已经损坏。

该请求产生 UTF-8 编码的数据。你如何将它解析为 JSON 对象？是否为解码器指定了正确的编码？或者您的平台是否使用默认的字符编码？

Answer 4

首先尝试以下操作：

str = j.getString("titleNoFormatting");
BufferedWriter writer = new BufferedWriter(new OutputStreamWriter(new FileOutputStream("c:/test.txt"), "UTF-8"));
writer.write(str);
writer.close();

然后在记事本中打开该文件。如果这看起来没问题，则问题在于您的记录器或控制台未配置为使用 UTF-8。否则，问题很可能出在您使用的 JSON API 上，它未配置为使用 UTF-8。

编辑：如果问题实际上出在所使用的 JSON API 中，并且您不知道该选择哪个，那么我建议使用 Gson。它确实简化了将 Json 字符串转换为易于使用的 javabean 的过程。这是一个基本示例：

import java.io.BufferedReader;
import java.io.InputStreamReader;
import java.net.URL;
import java.util.List;

import com.google.gson.Gson;

public class Test {

    public static void main(String[] args) throws Exception {
        URL url = new URL("http://ajax.googleapis.com/ajax/services/search/web"
            + "?start=0&rsz=large&v=1.0&q=rz+img+news+recordid+border");
        BufferedReader reader = new BufferedReader(new InputStreamReader(url.openStream(), "UTF-8"));
        GoogleResults results = new Gson().fromJson(reader, GoogleResults.class);

        // Show all results.
        System.out.println(results);

        // Show title of 1st result (is arabic).
        System.out.println(results.getResponseData().getResults().get(0).getTitle());
    }

}

class GoogleResults {

    ResponseData responseData;
    public ResponseData getResponseData() { return responseData; }
    public void setResponseData(ResponseData responseData) { this.responseData = responseData; }
    public String toString() { return "ResponseData[" + responseData + "]"; }

    static class ResponseData {
        List<Result> results;
        public List<Result> getResults() { return results; }
        public void setResults(List<Result> results) { this.results = results; }
        public String toString() { return "Results[" + results + "]"; }
    }

    static class Result {
        private String url;
        private String title;
        public String getUrl() { return url; }
        public String getTitle() { return title; }
        public void setUrl(String url) { this.url = url; }
        public void setTitle(String title) { this.title = title; }
        public String toString() { return "Result[url:" + url +",title:" + title + "]"; }
    }

}

它很好地输出结果。希望这有帮助。

Answer 5

有一个库，它保留http响应的编码（捷克语表达式）与这样的 JSon 消息：

private static String inputStreamToString(final InputStream inputStream) throws Exception {
 final StringBuilder outputBuilder = new StringBuilder();

 try {
  String string;
  if (inputStream != null) {
   BufferedReader reader = new BufferedReader(new InputStreamReader(inputStream, "UTF-8"));
   while (null != (string = reader.readLine())) {
    outputBuilder.append(string).append('\n');
   }
  }
 } catch (Exception ex) {
  throw new Exception("[google-api-translate-java] Error reading translation stream.", ex);
 }

 return outputBuilder.toString();
}

答案很棘手，有几点必须注意，主要是平台编码：

afaik影响打印到控制台，从输入流创建文件，甚至影响数据库客户端和服务器之间的通信尽管它们都设置为使用 utf-8 字符集进行编码 - 无论我是否显式创建 utf-8 字符串、inputstreamReader 或设置 UTF-8 的 JDBC 驱动程序，仍然在 Linux 系统上将 $LANG 属性设置为 xx_XX.UTF-8并将append =“vt.default_utf8 = 1”添加到LILO引导加载程序（在使用它的系统上），至少对于运行数据库和使用utf-8编码文件的java应用程序的系统必须完成。

即使我附加此 JVM 参数 -Dfile.encoding=UTF-8，如果没有平台编码，我也无法成功编码正确的流。正确设置 JDBC 连接器是必要的：“jdbc:mysql://localhost/DBname?useUnicode=true&characterEncoding=UTF8”，如果要将字符串持久保存到数据库，数据库应处于以下状态：

    mysql> SHOW VARIABLES LIKE 'character\_set\_%';
+--------------------------+--------+
| Variable_name            | Value  |
+--------------------------+--------+
| character_set_client     | utf8   |
| character_set_connection | utf8   |
| character_set_database   | utf8   |
| character_set_filesystem | binary |
| character_set_results    | utf8   |
| character_set_server     | utf8   |
| character_set_system     | utf8   |
+--------------------------+--------+

Answer 6

Google API 正确发送 UTF-8。我认为问题是您的默认编码无法输出阿拉伯语。检查您的 file.encoding 属性或获取这样的编码，

public static String getDefaultCharSet() throws IOException {
    OutputStreamWriter writer = new OutputStreamWriter(new ByteArrayOutputStream());
    return writer.getEncoding();
}

如果默认编码是 ASCII 或 Latin-1，您将得到“？”。您需要将其更改为UTF-8。