PySpider

PySpider

文章 349 浏览 55

pyspider配置redis的作用?

单机爬虫的情况下,是不是配置redis作为消息队列就没有意义?…

强者自强 2022-09-11 18:25:46 21 0

pyspider在python3.7中使用async关键字,到底如何解决???

在python3.7中,pyspider使用了关键字async,到底该怎么解决???不希望降级python版本。我把pyspider包中的async全部改为了async_,但是还是报错,…

因为看清所以看轻 2022-09-11 18:23:01 35 0

web 功能 页面展示问题

如图,红框部分是不是显示有问题啊 ,用的谷歌浏览器最新的…

一曲爱恨情仇 2022-09-11 18:00:02 12 0

任务跑一段时间后 scheduler挂掉,错误信息如下

Error in `/usr/bin/python2': double free or corruption (fasttop): 0x00007fbcdc027c30 ======= Backtrace: =========/usr/lib64/libc.so.6(+0x7c…

七秒鱼° 2022-09-11 17:06:15 16 0

pyspider的redis消息队列存的是什么消息?

pyspider的config.json设置中message_queue设置的redis消息队列,具体存的什么什么消息?…

双马尾 2022-09-11 16:40:06 15 0

pyspider为什么能实现url爬取多条数据吗?

据说on_message可以,但我测试了还是不行,有什么方法能实现吗? def detail_page(self, response): results = json.loads(response.text) for resul…

九八野马 2022-09-11 16:40:05 21 0

新手 pyspider all 启动不起来

问题描述 windows平台 启动安装时出现`C:pythonPython37Scripts>pip3 install pyspiderRequirement already satisfied: pyspider in c:pythonpython3…

岛歌少女 2022-09-11 16:28:28 24 0

pyspider任务自动Pause的触发条件(fetch失败次数),暂停时间等在哪里可以配置

如题。在采集过程中,经常由于代理质量的问题,出现连续fetch异常,导致任务自动变为Pause状态,并且一停就好几分钟。能否自己控制fetch异常次数和暂…

七秒鱼° 2022-09-11 16:24:46 15 0

pyspider中CSS选择器定位不到怎么办

我用选择器选到了节点,可是运行并没有反应,打开开发者选项发现这个li这个节点并不是唯一的,前面还有一个。不知道怎么改…

想挽留 2022-09-11 16:15:09 19 0

pyspider如何手动判断某个url是否已经爬取过

想实现爬列表页的时候,发现有已经被爬过的文章url就停止列表爬取,否则继续下一页,如何实现?…

我恋#小黄人 2022-09-11 15:47:57 15 0

pyspider 启动错误

[root@localhost python]# pyspider all [W 180629 07:08:26 run:413] phantomjs not found, continue running without it. [I 180629 07:08:29 resul…

乖乖哒 2022-09-11 15:32:12 27 0

pyspider的如何使用on_message?

我需要在同一个url下获取多条数据。 我用官网介绍的on_message,但是msg并没有传入on_message函数中啊。 print msg,什么都打印不出来,但是在message…

浅浅淡淡 2022-09-11 15:22:15 14 0

pyspider all失败,提示平台不支持timeout

之前用还好好的,现在又不行了,不知道是什么原因,百度了也没查到个所以然。请大佬帮忙了,谢谢 D:python.ptc>D:python.ptc>pyspider alld:anaconda…

感性 2022-09-11 15:21:48 31 0

HTTP 599: Resolving timed out after 20000 milliseconds

[E 181028 18:02:07 base_handler:203] HTTP 599: Resolving timed out after 20000 milliseconds Traceback (most recent call last): File "c:\pyt…

无力看清 2022-09-11 14:51:54 12 0

pyspider 怎么POST提交request payload 也就是JSON信息

这个问题很让人头疼 网址为https://alphaliner.axsmarine.... 需要提交的post信息为[{"action":"top100","method":"getTop100Table","data":null,"ty…

东京女 2022-09-11 14:45:14 14 0
更多

推荐作者

书间行客

文章 0 评论 0

神妖

文章 0 评论 0

undefined

文章 0 评论 0

38169838

文章 0 评论 0

彡翼

文章 0 评论 0

    我们使用 Cookies 和其他技术来定制您的体验包括您的登录状态等。通过阅读我们的 隐私政策 了解更多相关信息。 单击 接受 或继续使用网站,即表示您同意使用 Cookies 和您的相关数据。
    原文