“En dash”在 http 响应处理或文本操作期间出现乱码

Question

我正在编写代码来处理维基百科的文本，但遇到了破折号乱码的问题。我以前没有使用过破折号或其他非标准字符（对我来说非标准字符是没有出现在我的键盘上的字符；），所以我不确定该把手指指向哪里做错事。这是正在发生的事情以及代码片段......

我向维基百科发送请求（我使用 Apache HttpComponents 客户端 API 与维基百科进行通信）以获取文章内容并将其保存在字符串中

DefaultHttpClient client = new DefaultHttpClient();
HttpGet queryRequest = new HttpGet(query);  // query is the URL for retrieving the article contents.
ResponseHandler<String> responseHandler = new BasicResponseHandler();
String responseBody = client.execute(queryRequest, responseHandler);

：如果我要将“responseBody”发送到 System.out，破折号会在 Eclipse 控制台中显示为“？”。这可能只是 Eclipse 控制台显示问题，所以我将继续。

我处理文本，忽略破折号，然后将文本发送回维基百科。

List<NameValuePair> postParams = new ArrayList<NameValuePair>();
postParams.add(new BasicNameValuePair("text", content);  // content is a String with the article text
UrlEncodedFormEntity entity = new UrlEncodedFormEntity(postParams, "UTF-8");
HttpPost queryRequest = new HttpPost(url);  // url is the basic URL for the Wikipedia api
queryRequest.setEntity(entity);
queryRequest.addHeader("Content-Type", "application/x-www-form-urlencoded");
ResponseHandler<String> responseHandler = new BasicResponseHandler();
String responseBody = client.execute(queryRequest, responseHandler);

当现在上传到维基百科的文本显示在网络浏览器中时，之前的破折号现在显示为“？”在一个盒子里（未知字符？）。因此，在某个地方我无意中更改了破折号或对破折号进行了错误编码，但我不确定到底在哪里。

有人能指出我正确的方向吗？

Answer 1

现在真正的答案。非英语字符被破坏的问题与 Apache HTTPComponents 或 Java 字符串处理/操作无关。问题出在 Windows 上运行的 Eclipse IDE。

Eclipse在运行配置中默认使用系统默认的编码方式，Cp1252 for Windows。由于Cp1252不支持所有UTF-8字符，因此会出现问题。我在这里找到了解决方案。在 Eclipse 中，您进入运行配置。对于您尝试运行的项目，请转到“公共”选项卡。有一个用于编码的部分。将其从“默认”更改为“其他”并将编码设置为 UTF-8。

现在一切都很好。

Answer 2

我仍然没有弄清楚为什么 endash 被破坏了。与此同时，我确实有一个（可能是笨拙的）修复。

String unknownUTF = String.copyValueOf(Character.toChars(65533));
content = content.replace(unknownUTF, "\u2013");

我基本上用 endash 字符替换“未知”UTF-8 字符的所有实例。假设原始内容不包含任何其他被转换为“未知”字符的 UTF-8 字符，则此操作有效。