pyspider下无法web预览页面
1 在demo.pyspider.org/debug/sask 建立了任务 2 采集的目标网站为https://sasktenders.ca/Content/Public/Se... 3 问题：web界面下 html可以显示源…
pyspider 中怎么提交用户名密码然后抓取内容
我需要使用pyspider抓取一个监控页面的监控图但是我们的监控web页面是需要登陆的，我在抓取监控图之前，需要登陆操作，怎么在pyspider中完成该操作 ？…
Pyspider task.db 浪费了非常多的存储空间
Pyspider task.db 浪费了非常多的存储空间抓取网站过程中，新闻分页信息存储到了 save中 self.crawl(each.attr.href, callback=self.detail_page,sav…
pyspider遇到unknow option '--ssl-protocol=any'问题
在linux上运行pyspiderpip 相关的包后到程序文件夹运行程序 ./run.py 出现错误如图： 问题一：AttributeError:'module' object has no attribute Thr…
pyspider运行奔溃
刚开始是使用pyspdier -c pyspider.json 组件名 的方式启动了scheduler、fetcher、processor、webui和phantomjs。但是运行一段时间之后被所有进程都…
如何清零counter计数器
把数据清空后,这些统计数据仍然还在,如何清零呢?谢谢. 1d: {pending: 61748, retry: 5258, success: 65578} 1h: {pending: 187, retry: 18, success:…
Pyspider 单步调试没有问题，启动运行的时候只抓取了几个页面
刚开始使用pyspider,因为抓取页面是用javascript动态生成的，比较了一下scrapy和pyspider，因为pyspider支持phantomjs,便选择了phantomjs. 抓取的页…
pyspider 集群报「connect to scheduler error 」
搭建集群 (一主一从，稳定运行后增加四台从，配置一致)后，正常运行稳定运行6小时左右后，出现异常点击 Active Tasks 后出现 connect to scheduler e…
pyspider error 599
HTTP 599: Empty reply from server [E 160201 11:28:39 base_handler:195] HTTP 599: Empty reply from server Traceback (most recent call last):…
pyspider安装github上最新版本后报 IOLoop is already running错误
在github上更新了最新版本，webui里debug的时候报错，windows上和linux上都如此，回退到老版本没有问题 } Traceback (most recent call last): File …
