如何在 NodeJS 中对字符集编码进行编码/解码？

Question

我有这个代码：

request({ url: 'http://www.myurl.com/' }, function(error, response, html) {
  if (!error && response.statusCode == 200) {
    console.log($('title', html).text());
  }
});

但是我爬行的网站可以有不同的字符集（utf8，iso-8859-1等）如何获取它并始终将html编码/解码为正确的编码（utf8）？

谢谢并抱歉我的英语;)

Answer 1

网站可以在返回的 HTML 中返回内容类型标头或内容类型元标记中的内容编码，例如：

<meta http-equiv="Content-Type" content="text/html; charset=latin1"/>

您可以使用 charset 模块会自动为您检查这两个内容。但并非所有网站或服务器都会指定编码，因此您需要回退到从数据本身检测字符集。 jschardet 模块可以帮助您。

一旦你计算出字符集，你就可以使用 iconv 模块来进行实际的转换。这是一个完整的示例：

request({url: 'http://www.myurl.com/', encoding: 'binary'}, function(error, response, html) {
    enc = charset(response.headers, html)
    enc = enc or jchardet.detect(html).encoding.toLowerCase()
    if enc != 'utf-8'
        iconv = new Iconv(enc, 'UTF-8//TRANSLIT//IGNORE')
        html = iconv.convert(new Buffer(html, 'binary')).toString('utf-8')
    console.log($('title', html).text());
});

Answer 2

首先，您可以发送一个 Accept-Charset 标头，这将阻止网站发送其他字符集的数据。

收到响应后，您可以检查 Content-Type 标头中的 charset 条目并进行适当的处​​理。

当内容编码未知时，另一种黑客（我过去使用过）是尝试使用所有可能的内容编码进行解码，并坚持使用不会引发异常的编码（尽管在 python 中使用）。