pyspider单步调试通过，但是到Dashboard改了状态run不成功。
pyspider单步调试通过,爬取的结果能写入数据库。但是到Dashboard改了状态run不成功。 就直接finished。里面提示： 但是为什么单步调试又是没问题的呢…
pyspider 访问网址出现HTTP 599 resolving timed out,改成ip数字地址就可以
[E 170111 22:17:24 base_handler:195] HTTP 599: Resolving timed out after 20000 milliseconds Traceback (most recent call last): File "c:\pyt…
pyspider的抓取部分能某个Project单独重写么？
我现在有个别 Project 需要在抓取时再指定 Cookie 或代理，所以我想修改抓取的部分，但是我不太清楚能不能只是单独重写某些 Project 的抓取部分呢？…
debug时能正常运行，然而在dashboard界面时任务都返回400 bad request
Debug是能正常运行，而在dashboard上run都是 请问这是什么问题 PS:系统是ubuntu 16.04LTS python是3.5.2 pyspider是0.3.8 …
使用from projects import some_project提示：KeyError: 'projects'
使用from projects import some_project 提示：File "", line 969, in _find_and_loadFile "", line 958, in _find_and_load_unlockedFile "", line …
Scheduler 控制 status_queue 的疑问
我在看pyspider 的源码的时候，看到processor 处理完成task 的时候，会将处理的描述一个 status_pack放入status_queue中。但是没弄清楚scheduler 在rp…
pyspider如何处理重定向问题？
之前用pyspider爬动态网页都好使，这次就报错，如右图。 在浏览器的开发者工具的network里看请求的js文件， 都是304。 所以我在想是不是爬的时候报错…
关于connect_timeout无效的问题
我设置了connect_timeout，但是在运行时没有起作用。请问如何解决？ 代码如下： @every(minutes=24 * 60) def on_start(self): self.crawl('http://?…
pyspider如何写文本日志？
用pyspider的时候想打点文本日志，写logging.basicConfig(filename='xxx/log.txt', level=logging.INFO)这样的会报错，大概研究了下应该是默认import…
pyspider错误"method not allowed!"
python32位,pyspider安装成功了,但是执行pyspider all后,在localhost指定端口抛出提示:method not allowed! 配置有问题? …
pyspider中可以使用time.sleep()吗？
最近刚开始上手使用pyspider写爬虫，因为经常被ban，所以想下调一下抓取速率。尝试在脚本里用time.sleep()，发现效果不是我想像中的。一个最简单的示…
