webmagic怎样识别网页编码

Question

@黄亿华 你好，想跟你请教个问题：

webmagic中,HttpClientDownloader里

if (charset == null) {
  String value =httpResponse.getEntity().getContentType().getValue();
  charset = UrlUtils.getCharset(value);
}

有一些网页的响应头里是没有charset的，这时获取charset的值就是null。如果这些网页是gbk编码的，获取后就会成为乱码。 这样判断网页编码，是不是单一了点呢？ 

Answer 1

site.setCharset("gb2312")

Answer 2

有帮助

Answer 3

怎么设置？

Answer 4

回复
site.setCharset()

Answer 5

嗯，是的，这种情况就按照系统默认编码来了。这里做的比较简单，更全面一点还可以取meta里面的字符集。不过我觉得还是自己设置比较靠谱，非标准的站点太多了。

Answer 6

响应头信息
原始头信息