前端程序员开发爬虫，用puppeteer，还是学用python爬虫？那个性价比更高？

前端程序员开发爬虫，用puppeteer，还是学用python爬虫？那个性价比更高？…

请教一个关于puppeteer的问题

用node写了个服务接口，前端发出请求，接受到请求后就去抓取网页，如果有4,5个并发，puppeteer好像是排队打开的，导致请求就卡住了,响应特别慢,请问下…

superagent和cheerio 获取百度首页的内容，为什么获取到的不是网页源码，而是下图几行代码

1、代码：const express = require('express') const superagent = require('superagent')const cheerio = require('cheerio')const app = express()…

node爬虫如何获取页面内查询后的数据？

问题描述 写过简单的爬虫，根据url打开的网页，网页中的内容就是要抓取的信息，这样比较好弄。现在页面默认是没数据的或不是自己想要的数据，需要点…

node如何使用request模块向已有的java接口传输form Data？

java那边以前有一个接口 upload，在 客户端 直接调用 传递 formData。现在用node 做代理，以满足在本地开发的时候可以在本地与测试环境直接做交互。…

HTML编码问题，爬出来的数据是一个个 口口口

浏览器的调试工具里也是如此，但是网页上显示是没问题的，用node做的爬虫，有什么解决方案吗 …

node的http.request拿到的数据乱码怎么办？

serer.js本想用下面的方法，做代理。我能从本地拿测试环境的数据，在本地调试。options 相关的配置 let request = http.request(options, function(r…

关于async这个库的mapLimit方法卡死的问题

代码如下： var cheerio = require('cheerio') var superagent1 = require('superagent') var eventproxy = require('eventproxy') var async = requ…

如何在本地拿到测试环境需要登录验证的数据？

在前端开node服务，当调用测试环境的接口 a 的时候，可以用localhost:3000/a 访问，然后用node 的 request 去请求 测试环境的地址。相当于做一个 代…

node 爬虫问题

使用superagent请求某网页，网页不是ssr页面数据都是走接口获得（我知道正常来讲直接爬接口就好，但是我有个特别需求非要这样- -），我希望通过cheeri…

怎么在cheerio获得的数据中嵌套使用遍历方法？

node写了的小爬虫，用cheerio解析爬取到的数据封装写入时候报错了，说是循环调用的问题，贴代码： $('#live-list-contentbox&gtli').each((i, ele) =…

Phantomjs: 怎么获取

phantom爬取网易云音乐歌单，可以截屏无法渲染页面？

phantomjs爬取网易云音乐歌单，代码如下 var webpage = require('webpage') var page = webpage.create() page.open('https://music.163.com/#/playl…

允世 2022-09-07 21:05:07 13 0

如何用superagent 通过图片地址保存图片到服务器磁盘，然后把图片地址返回给浏览器？

如题 该怎么写呢？？用node包superagent，要保存图片到本地磁盘。然后吧地址返回给前端。…

爱本泡沫多脆弱 2022-09-07 19:26:59 29 0

node 批量下载pdf文件至本地问题

使用download模块批量下载pdf文件出错，在下载过程中，总会在下载二十几个或者四十个的时候停止 var arr = [{ url: "http://pdf.dfcfw.com/pdf/H2_AN…

强者自强 2022-09-07 16:28:01 9 0

• 共 5 页
• 上一页
• 1
• 2
• 3
• 4
• 5
• 下一页