nodejs爬虫

nodejs爬虫

文章 74 浏览 20

用node爬虫,今天突然报错Error: read ECONNRESET,在线急等!

之前好好的,今天爬虫的时候,突然报错-104,有说ip被封,但是我换了代理也是不起作用。现在数据没了,没办法去爬取,求各位大佬帮帮忙,在线急等!就…

红焚 2022-09-13 00:34:08 22 0

Node.js 里如何存 Token?我想把 Token 存在一个所有模块都能拿到的地方

我使用 Node 发起请求登录我的项目,然后我需要带上返回的 Token 再去发起新的请求,将一些数据上传,同时我还需要使用 Worker_threads 再开一个线程…

平生欢 2022-09-12 13:24:16 19 0

nodejs nightmare工具,有的时候打不开electron的界面,导致爬不到数据

如题用nightmare写了一个爬取商品列表的功能,有时候可以执行,有的时候却打不开electron的无界面浏览器,导致获取不到数据,也没有报错,游刃于建国…

征﹌骨岁月お 2022-09-12 12:56:21 17 0

CLI 应用,对于较复杂的用户定义逻辑,如何处理更优?

场景:爬取小说 完整代码:https://github.com/ForkFG/Ter...fetch: async(page) =&gt { page = page ?? args[1] if (!page) Err("fetch: Page can't …

踏雪无痕 2022-09-12 04:51:57 24 0

Node.js getaddrinfo ENOTFOUND, 请求一个接口, 偶尔会报这个错误.

因为是一个爬虫服务, 所以会请求其他的网站的接口. 用的客户端是 superagent, 偶发的报错 getaddrinfo ENOTFOUND. 报错以后立马重试, 依旧会报这个错…

蓝咒 2022-09-12 04:15:23 25 0

node reqeust 可以正常get,放在electron下就不能get到数据了

const request = require('request') request('https://www.xxx.cn/front/detail/item/36788268?timestamp=1592492065017', function (error, respon…

小嗲 2022-09-12 03:23:02 19 0

Node进程为什么不会自动退出呢?

const https = require("https") const http = require("http") const fs = require("fs") const browser = { "User-Agent": "Mozilla/5.0 (X11 Linu…

春花秋月 2022-09-12 02:25:32 20 0

cheerio模块解析后fs.writeFile写入的问题

我的代码如图,我想往右侧页面中添加代码(比如往script标签中追加文本123)通过我的代码可以成功添加,但是fs.writeFile写入后的文件仅有script及其…

幻梦 2022-09-12 02:12:07 30 0

node爬取网站

大概几百个网站,需要网站的名称,使用的是node-crawler这个插件,这些网站的字符集编码有些不一样,有的网站是utf-8的,有的是gb2312的,还有其他格…

月依秋水 2022-09-12 01:48:56 27 0

egg的log4如何打印函数名称

问题描述 egg的log4每执行一个函数就打印、请问如何简便处理呢 相关代码 async list() { console.log('======ctl.carinfo.list=====') const ctx = t…

云雾 2022-09-11 21:48:35 27 0

puppeteer开启chromium,报UnhandledPromiseRejectionWarning?

const puppeteer = require('puppeteer') (async () =&gt { const browser = await puppeteer.launch({ devtools: true, ignoreHTTPSErrors: true })…

情泪▽动烟 2022-09-11 21:41:25 23 0

node爬虫报错 各位大大有没有遇到过

爬虫程序是放在express里 一起放到了阿里云上,PM2执行后,今早起来看 就报了一个这样的错误 。 之前我在本地跑的时候 并没有出现这样的错误 …

怎会甘心 2022-09-11 20:18:51 23 0

使用superAgent做代理,但是返回UNABLE_TO_GET_ISSUER_CERT_LOCALLY是怎么回事?

从本地的 node 环境去拿 测试环境的数据。在 headers 里已经加了 cookie,但是还是报错。 直接访问测试环境就ok请问该怎么解决? …

感情废物 2022-09-11 19:41:32 26 0

怎么在node上面 读取本地图片 使用node-fetch 上传,好像无法使用form-data

怎么在node上面 读取本地图片 使用node-fetch 上传,好像无法使用form-data 1.现在根目录有几张图片,想使用node读取 图片 2.读取完成 放入 form-dat…

一绘本一梦想 2022-09-11 19:36:33 13 0

cheerio或取上下级class同名问题?

&ltdiv class="tg"&gt &lth1&gtune&lt/h1&gt &ltp&gtpoi&lt/p&gt &ltdiv class="tg"&gt &lth2&gtdu&lt/h2&gt &ltp&gtruo&lt/p&gt &ltdiv class="tg"&…

半仙 2022-09-11 19:07:27 22 0
更多

推荐作者

1CH1MKgiKxn9p

文章 0 评论 0

ゞ记忆︶ㄣ

文章 0 评论 0

JackDx

文章 0 评论 0

信远

文章 0 评论 0

yaoduoduo1995

文章 0 评论 0

霞映澄塘

文章 0 评论 0

    我们使用 Cookies 和其他技术来定制您的体验包括您的登录状态等。通过阅读我们的 隐私政策 了解更多相关信息。 单击 接受 或继续使用网站,即表示您同意使用 Cookies 和您的相关数据。
    原文