pyspider中cookies过期如何处理？
当保存的待抓取任务原来使用的cookies在它开始处理时，cookies过期了，这样该任务的callback肯定得不到想要的结果，请问有没有什么办法可以更新cookie…
请问如何解决windows环境下phantomjs不支持flash的问题？
我在windows环境下使用pyspider，遇到一个问题？有一个网站，使用etch_type="js"，不起作用。偶尔起作用，在起作用的页面里，再次点击运行百分之百出…
Pyspider url列表溢出 UnicodeError: label empty or too long
需要抓取url大概为12000个左右，Pyspider报错， 报错提示： UnicodeError: encoding with 'idna' codec failed (UnicodeError: label empty or too l…
pyspider的回调函数为什么必须点向右的白色箭头才会执行？
想要实现的功能：爬新闻首页，拿到新闻链接，然后去爬每篇新闻，把爬到的新闻内容插入到monggodb中 #!/usr/bin/env python # -*- encoding: utf-8 -*…
pyspider run状态下result没有数据，而且没有继续向下执行，为什么？
抓取知乎首页的动态的url，使用了一个循环，但是run时，只执行了一遍，没有循环。并且results中没有return的数据。 def __init__(self): self.start_…
用pyspider框架爬虫时，如何实现全局变量的修改，传递？
刚接触pyspider，想用pyspider爬去知乎，但是无法实现在这个框架内的变量传递。我先把变量定义成对象的属性以下是我问题最基础的代码： from pyspide…
Pyspider 调试时crawl卡住
最近利用pyspider抓取一些生活服务网站的信息，再pyspdier中生成了大概60多个project。数据库用的是mysql，消息队列用的是redis发现最近新增加project…
pyspider自己提供的控制台中怎么看代码中的打印的内容
windows的cmd中没有输出，pyspider的控制台中status设置成debug也看不到打印的内容。 求解，刚开始学不太会用这个控制台。 …
HTTP Error 599
问题描述 爬取小米应用商店的某款应用时，出现 599 报错： [E 160905 17:22:05 base_handler:195] HTTP 599: Resolving timed out after 20001 milli…
经常出现database is locked是怎么回事？rate/burst设置为1/1还是会有这个问题
如图所示： 1.这是什么问题呢？将rate/burst设置为1/1还是会有，该如何解决？ 2.点到tasks界面选择任意一个success的链接进来，看到会有"HTTP 304: N…
pyspider爬取时fetcher报超时错误：fetcher/: 504 Gateway Time-out
有时爬虫会报如下超时错误： Traceback (most recent call last): File "/opt/pyspider/pyspider/run.py", line 351, in <lambda> app.config['f…
