Node.js 抓取中文网页乱码的若干问题

发布于 11-09 19:18 字数 3185 浏览 1301 评论 0

使用 iconv-lite 解决 request 乱码问题

Node.js 抓取非 utf-8 的中文网页时会出现乱码问题,比如网易的首页编码是 gb2312,抓取时会出现乱码

var request = require('request')  
var url = 'http://www.163.com'

request(url, function (err, res, body) {  
    console.log(body)
})

可以使用 iconv-lite 来解决

安装

npm install iconv-lite  

同时我们顺带把 user-agent 修改一下,以防网站屏蔽:

var originRequest = require('request')  
var iconv = require('iconv-lite')  
var headers = {  
  'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_10_1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/39.0.2171.65 Safari/537.36'
}

function request (url, callback) {  
  var options = {
    url: url,
    encoding: null,
    headers: headers
  }
  originRequest(options, callback)
}

request(url, function (err, res, body) {  
    var html = iconv.decode(body, 'gb2312')
    console.log(html)
})

乱码问题解决

使用 cheerio 解析 HTML

cheerio 可以简单粗暴的理解为服务器端 jQuery 选择器,有了它,比正则要更加直观许多

安装

npm install cheerio  

request(url, function (err, res, body) {  
    var html = iconv.decode(body, 'gb2312')
    var $ = cheerio.load(html)
    console.log($('h1').text())
    console.log($('h1').html())
})

输出如下

网易
网易

那么问题来了,$('h1').html() 输出的代码是经过 Unicode 编码的,网易 变成了网易,给我们的字符处理带来了一些麻烦

解决 cheerio .html() 「乱码」问题

查阅 文档 可知,可以关闭这个转换实体编码的功能

var $ = cheerio.load(html)  

改成

var $ = cheerio.load(html, {decodeEntities: false})  

即可,完整代码如下:

var originRequest = require('request')  
var cheerio = require('cheerio')  
var iconv = require('iconv-lite')  
var headers = {  
  'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_10_1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/39.0.2171.65 Safari/537.36'
}

function request (url, callback) {  
  var options = {
    url: url,
    encoding: null,
    headers: headers
  }
  originRequest(options, callback)
}

var url = 'http://www.163.com'

request(url, function (err, res, body) {  
    var html = iconv.decode(body, 'gb2312')
    var $ = cheerio.load(html, {decodeEntities: false})
    console.log($('h1').text())
    console.log($('h1').html())
})

如果你对这篇内容有疑问,欢迎到本站社区发帖提问 参与讨论,获取更多帮助,或者扫码二维码加入 Web 技术交流群。

扫码二维码加入Web技术交流群

发布评论

需要 登录 才能够评论, 你可以免费 注册 一个本站的账号。
列表为空,暂无数据
我们使用 Cookies 和其他技术来定制您的体验包括您的登录状态等。通过阅读我们的 隐私政策 了解更多相关信息。 单击 接受 或继续使用网站,即表示您同意使用 Cookies 和您的相关数据。
原文