JSON 无效的 UTF-8 中间字节

Question

当（Jackson，本例中）JSON 引擎尝试解析某些未以 UTF-8 编码的 JSON 时，会发生此错误。

如何告诉引擎它应该期待与 UTF-8 不同的内容，例如 UTF-16？

HttpHeaders requestHeaders = createSomeHeader();
RestTemplate restTemplate = new RestTemplate();
HttpEntity<?> requestEntity = new HttpEntity<Object>(requestHeaders);
String url = "someurl"
ResponseEntity<MyObject[]> arrayResponseEntity = restTemplate.exchange(url, HttpMethod.GET, requestEntity, MyObject[].class);

错误日志：

Caused by: org.springframework.http.converter.HttpMessageNotReadableException: Could not read JSON: Invalid UTF-8 middle byte 0x20
at [Source: org.apache.http.conn.EofSensorInputStream@44d397b0; line: 92, column: 42]; nested exception is org.codehaus.jackson.JsonParseException: Invalid UTF-8 middle byte 0x20
at [Source: org.apache.http.conn.EofSensorInputStream@44d397b0; line: 92, column: 42]
at org.springframework.http.converter.json.MappingJacksonHttpMessageConverter.readInternal(MappingJacksonHttpMessageConverter.java:138)
at org.springframework.http.converter.AbstractHttpMessageConverter.read(AbstractHttpMessageConverter.java:154)
at org.springframework.web.client.HttpMessageConverterExtractor.extractData(HttpMessageConverterExtractor.java:74)
at org.springframework.web.client.RestTemplate$ResponseEntityResponseExtractor.extractData(RestTemplate.java:622)
at org.springframework.web.client.RestTemplate$ResponseEntityResponseExtractor.extractData(RestTemplate.java:608)
at org.springframework.web.client.RestTemplate.doExecute(RestTemplate.java:449)
at org.springframework.web.client.RestTemplate.execute(RestTemplate.java:404)
at org.springframework.web.client.RestTemplate.exchange(RestTemplate.java:380)
... 4 more
Caused by: org.codehaus.jackson.JsonParseException: Invalid UTF-8 middle byte 0x20
at [Source: org.apache.http.conn.EofSensorInputStream@44d397b0; line: 92, column: 42]
at org.codehaus.jackson.JsonParser._constructError(JsonParser.java:1213)
at org.codehaus.jackson.impl.JsonParserMinimalBase._reportError(JsonParserMinimalBase.java:375)
at org.codehaus.jackson.impl.Utf8StreamParser._reportInvalidOther(Utf8StreamParser.java:2132)
at org.codehaus.jackson.impl.Utf8StreamParser._reportInvalidOther(Utf8StreamParser.java:2139)
at org.codehaus.jackson.impl.Utf8StreamParser._decodeUtf8_3fast(Utf8StreamParser.java:1962)

Answer 1

当我在 Java 客户端应用程序中序列化这样的 JSON

String json = mapper.writeValueAsString(contentBean);

并且在服务器端使用 Spring Boot 作为 REST 端点时，我遇到了此异常。
异常是：

嵌套异常是 com.fasterxml.jackson.databind.JsonMappingException：无效的 UTF-8 起始字节 0xaa

我的问题是，我没有在 HTTP 客户端上设置正确的编码。
这解决了我的问题：

updateRequest.setHeader("Content-Type", "application/json;charset=UTF-8");
StringEntity entity= new StringEntity(json, "UTF-8");
updateRequest.setEntity(entity);

Android 设置内容类型 HttpPost

Answer 2

JSON 数据必须编码为 UTF-8、UTF-16 或 UTF-32。 JSON 解码器可以通过检查前四个八位字节来确定编码字节流：

       00 00 00 xx  UTF-32BE
       00 xx 00 xx  UTF-16BE
       xx 00 00 00  UTF-32LE
       xx 00 xx 00  UTF-16LE
       xx xx xx xx  UTF-8

听起来服务器正在以某种非法编码（ISO-8859-1、windows-1252 等）对数据进行编码

Answer 3

我在使用 Notepad2 保存 JSON 文件后得到了这个，所以我必须使用 Notepad++ 打开它，然后说“转换为 UTF-8”。然后就成功了。

Answer 4

如果有机会对其他人有帮助，我会分享一个相关的轶事。

我在通过 PowerShell 集成脚本环境 (ISE) 运行 PowerShell 脚本时遇到了这个确切的错误（无效的 UTF-8 中间字节 0x3f）。在 ISE 外部执行的相同脚本可以正常工作。该代码使用 Confluence v3 和 v5.x REST API，并且此错误记录在 Confluence v5.x 服务器上 - 可能是因为 ISE 以某种方式干扰了请求。

Answer 5

这个遮阳篷解决了我的问题。下面是它的副本：

确保使用 -Dfile.encoding=UTF-8 启动 JVM。你JVM
默认为操作系统字符集

这是一个 JVM 参数，可以添加到例如独立的 JBoss 或从 Eclipse 运行的 JBoss。

就我而言，这个问题仅在我的团队成员的一台计算机上单独发生。所有其他人都在工作，没有这个问题。

Answer 6

我在不同平台之间遇到了这个不一致的问题，因为我从 Mapper 获取 JSON 作为字符串并自己编写。有时它以 ansi 格式写入文件，有时则以 UTF8 格式正确写入文件。我转而

mapper.writeValue(file, data);

让 Mapper 执行文件操作，并且它开始正常工作。

Answer 7

客户端文本协议

POST http://127.0.0.1/bom/create HTTP/1.1
Content-Type: application/json
User-Agent: PostmanRuntime/7.25.0
Accept: */*
Postman-Token: 50ecfbfe-741f-4a2b-a3d3-cdf162ada27f
Host: 127.0.0.1
Accept-Encoding: gzip, deflate, br
Connection: keep-alive
Content-Length: 405

{
  "fwoid": 1,
  "list": [
    {
      "bomIndex": "10001",
      "desc": "带GH 1.25 13pin 公座带针 白色",
      "pn": "084.0001.0036",
      "preUse": 1,
      "type": "追觅 除螨仪-开关PCB组件"
    },
     {
      "bomIndex": "10002",
      "desc": "紫米音箱-商品码标签",
      "pn": "Z.08.013.0051",
      "preUse": 1,
      "type": "E060A0302301"
    }
  ]
}
HTTP/1.1 200 OK
Connection: keep-alive
Vary: Origin
Vary: Access-Control-Request-Method
Vary: Access-Control-Request-Headers
Content-Type: application/json
Date: Mon, 01 Jun 2020 11:23:42 GMT
Content-Length: 40

{"code":"0","message":"BOM保存成功"}

springboot控制器代码如下：

@PostMapping("/bom/create")
@ApiOperation(value = "保存BOM")
@BusinessOperation(module = "BOM",methods = "解析BOM")
public JsonResult save(@RequestBody BOMSaveQuery query)
{
    return bomService.saveBomList(query);
}

当我在loopback接口上调试时，它工作正常。当通过 bat 命令在互联网服务器上部署时，我收到错误

ServletInvocableHandlerMethod - Could not resolve parameter [0] in public XXXController.save(com.h2.mes.query.BOMSaveQuery): JSON parse error: Invalid UTF-8 middle byte 0x3f; nested exception is com.fasterxml.jackson.databind.JsonMappingException: Invalid UTF-8 middle byte 0x3f
 at [Source: (PushbackInputStream); line: 9, column: 32] (through reference chain: com.h2.mes.query.BOMSaveQuery["list"]->java.util.ArrayList[0]->com.h2.mes.vo.BOMVO["type"])
2020-06-01 15:37:50.251 MES [XNIO-1 task-13] WARN  o.s.w.s.m.s.DefaultHandlerExceptionResolver - Resolved [org.springframework.http.converter.HttpMessageNotReadableException: JSON parse error: Invalid UTF-8 middle byte 0x3f; nested exception is com.fasterxml.jackson.databind.JsonMappingException: Invalid UTF-8 middle byte 0x3f
 at [Source: (PushbackInputStream); line: 9, column: 32] (through reference chain: com.h2.mes.query.BOMSaveQuery["list"]->java.util.ArrayList[0]->com.h2.mes.vo.BOMVO["type"])]
2020-06-01 15:37:50.251 MES [XNIO-1 task-13] DEBUG o.s.web.servlet.DispatcherServlet - Completed 400 BAD_REQUEST
2020-06-01 15:37:50.251 MES [XNIO-1 task-13] DEBUG o.s.web.servlet.DispatcherServlet - "ERROR" dispatch for POST "/error", parameters={}

添加 jvm 争论对我有用。
java -Dfile.encoding=UTF-8