pyspider运行中出现 HTTPError: HTTP 429: Too Many Requests
如下所示： [E 170706 05:41:50 base_handler:203] HTTP 429: Too Many Requests Traceback (most recent call last): File "/usr/local/lib/python2…
服务器终端输入pyspider all出现QXcbConnection
QXcbConnection: Could not connect to display PhantomJS has crashed. Please read the bug reporting guide athttp://phantomjs.org/bug-repo... a…
pyspider显示安装成功但仍无法运行
各位大神好，我按照官网上的流程安装spider，并安装了需要的的库，安装过程最后显示安装成功，但是运行pyspider仍然显示"pyspider: command not foun…
pyspider调试的时候没有任何问题,点run就报编码问题
调试的时候没有任何问题,点run就报编码问题。同样2个采集就这一个老报错,另外一个完全没问题 taskid d7221a2be620c4ef60e874a1d93e79d1 lastcrawltim…
pyspider 监控控40多个网站，要每五分钟这些url都跑一遍，是用auto_recrawl这个参数对么？
40多个网站，每个网站现在大概有几千url需要监控，现在我在需要监控的页面加上了auto_recrawl=true参数，但是发现效果并不好，每个网站的一部分需要…
PySpider Handler中是否允许用户自定义函数？
PySpider新手，想在爬取内容的过程中把网页整个存下来，不知道有没有现成可用的方法，于是加了一个函数write_file,结果运行说“name 'write_file' is…
pyspider的分布式运行成功，2台slave跑，但是时间并没有缩短问题？
1 台 master,2 台 slave，虚拟机 ubuntu 下，配置如下： master 的 config.json： { "taskdb": "mysql+taskdb://pyspider:pyspider-pass@192.168.209…
pyspider在写入elasticsearch时报错
pyspider在写入elasticsearch时报错内容入下：可以正常链接，但不能保存pyspider 版本0.39elasticsearch版本5.3.3 File "/usr/local/lib/python3.5/s…
pyspider dashboard 阻塞 问题
之前也有一次阻塞情况,问题出现的很明显,启动任务后不久 dashboard 中 processor2resullt 就开始增加到100,然后前面的几个队列也会相继增加到100,所…
pyspider 效率 受 taskdb 影响?
pyspider 出现任务启动慢,有 pending 却没有下载的情况,还有的情况是 出现 process_timeout 的 exception, 换台机器同样的代码不会出现相同的问题.我…
pyspider 定时爬取问题
在写爬虫的时候，发现 在代码中设置了 every 之后，21号爬取了一次之后，今天看 result 没有更新，那个 lastcrawltime 依旧是 21号的。请问是不是我…
pyspider为什么每爬完一个url就更新整个项目
如下图 每爬完一个任务，整个爬虫项目都会更新，而且在tasks界面，还出现 on_finished 的状态。如下图： 请问有知道是怎么回事的吗。 在链接的age设…
windows环境下 如何关闭pyspider
刚刚开始尝试pyspider，好多不能理解的地方。感觉文档资料还是有点缺啊。可能是我缺点常识，按照教程运行起来登陆页面成功，但是怎么关闭？ctrl＋c很…
pyspider 和requests使用同一代理，pyspider返回400，requests返回正常，why？
Bad Request - Invalid URL HTTP Error 400. The request URL is invalid. 一样的访问地址，一样的post请求，一样的headers …
安装pyspider时出错：No space left on device:
安装pyspider时出错：No space left on device，但是安装别的程序时，可以正常安装，df和df-li都看了，没有满。下面是错误提示： Downloading/unpack…
