pyspider 使用 on_message 方法没有返回result
使用send_message和on_message方法来处理单个页面返回多个任务结果的情况，并且准备重写on_result方法进一步处理。但是on_message方法返回的msg并没…
pyspider任务重新启动但是结果显示none
求指教，终端的报错看不太明白为啥返回是none,也不知道和on_result有什么关系 #!/usr/bin/env python # -*- encoding: utf-8 -*- # Created on 2018-…
pyspider爬虫页面包含懒加载lazy-load,获取不到数据
用pyspider获取芒果TV页面中热门综艺栏目内容('div.mg-main ul>li.v-item')，由于页面采用了懒加载模式，所以获取不到具体信息，怎么让页面去加载这…
请问一下，在centos7.2服务器上运行的pyspider，怎么通过外网IP打开webui。
请问一下，在centos7.2服务器上运行的pyspider，怎么通过外网IP打开webui？config是这样写的 { "scheduler" : { "xmlrpc-host": "0.0.0.0", "delete-…
docker按照教程部署pyspider，遇到的MYSQL问题。
执行命令：docker run --name scheduler -d --link mysql:mysql --link rabbitmq:rabbitmq binux/pyspider:latest scheduler 最后部署webui出问题了…
请问pyspider怎么爬有规律的url，内容为json格式的网页
例如有10个url为:http://www.baidu.com/userid=1http://www.baidu.com/userid=2http://www.baidu.com/userid=3...http://www.baidu.com/userid=10 网…
pyspider爬虫结果获取data-bgimage属性值
<a href="testtese" target="_blank" data-bgimage="testtese"></a> 爬虫获取到的a标签中有href、target、data-bgimage等属性，用this.attr.…
pyspider pkg_resources.DistributionNotFound: wsgidav
pyspider安装提示成功，运行时出现pkg_resources.DistributionNotFound: wsgidav问题。 [root@localhost ~]# pip install pyspider Collecting pyspi…
pyspider 跨任务 send_message 没有效果
第一个 project self.send_message("DETAIL", {'url': href }, url= 'msg %s'%href) 第二个 project name "DETAIL" @every(minutes=7 * 60) def on_s…
如何清理爬虫数据中一些不需要的 HTML 属性
比如对于以下数据 <p id="a">data</p> 我只想保留 <p>data</p> 该如何操作，有快捷的方法吗？ …
pyspider 出现Could not contact DNS servers)？
这个问题 HTTP 599: Could not resolve: www.baidu.com (Could not contact DNS servers) 用ip没问题,搜索引擎内容没有合适的python2.7 win10 切换py…
pyspider 定时抓取无效、一直没有触发on_finished task任务确认都已经完成
RT代码如下： from pyspider.libs.base_handler import * from pyspider.libs.utils import md5string import logging fhandler = logging.FileHandl…
