nodejs爬虫下载图片失败

发布于 2022-09-05 08:53:54 字数 781 浏览 14 评论 0

Hello,everybody~
我在用nodejs写爬虫的时候,想爬取图片(图片的地址:
http://img3.g.pptv.com/a/2015...但是老是提示:

<html>
<head><title>414 Request-URI Too Large</title></head>
<body bgcolor="white">
<center><h1>414 Request-URI Too Large</h1></center>
<hr><center>nginx</center>
</body>
</html>

是指请求的链接过长。但是直接点击却是可以访问到图片的,怎么回事?请问大家这个怎么解决?或者是什么原因。先谢谢了~
这个是我请求的代码~多谢了

var request = require('request');
var fs = require('fs');

var picture_url = "http://img2.g.pptv.com/a/2015/12/14500834484095.jpg";
request(picture_url).pipe(fs.createWriteStream("../../../../abc"));

如果你对这篇内容有疑问,欢迎到本站社区发帖提问 参与讨论,获取更多帮助,或者扫码二维码加入 Web 技术交流群。

扫码二维码加入Web技术交流群

发布评论

需要 登录 才能够评论, 你可以免费 注册 一个本站的账号。

评论(2

花落人断肠 2022-09-12 08:53:55

我利用superagent模块发起的get请求是能够正常获取到图片的。请问lz在发起请求的header或是方法?

补充:其实你只是差一个UA,爬虫请务必带上UA,不然太过明显

var request = require('request');
var fs = require('fs');

var picture_url = "http://img2.g.pptv.com/a/2015/12/14500834484095.jpg";
var options = {
  url: picture_url,
  headers: {
    'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/52.0.2743.116 Safari/537.36'
  }
};
request(options)
  .on('error', function(err) {
    console.log(err)
  })
  .pipe(fs.createWriteStream('test.png'))
温折酒 2022-09-12 08:53:55

把你的node爬虫代码贴出来,大家才能看出来问题的

~没有更多了~
我们使用 Cookies 和其他技术来定制您的体验包括您的登录状态等。通过阅读我们的 隐私政策 了解更多相关信息。 单击 接受 或继续使用网站,即表示您同意使用 Cookies 和您的相关数据。
原文