在web调试界面单步调试没问题，但是点击run后批量爬取就会有部分漏爬，为什么？
单步调试没问题，但是批量爬取的时候就会漏掉很多没有爬，具体表现为没有存入数据库。1：下面是调试界面，可以抓到get请求的链接2491个，都是返回的j…
config.json 创建放置的路径？怎样从环境变量中创建？
问题1： pyspider 运行在 paas 平台上，我只提供安装包，之后的安装、启动都是通过在 paas 上部署的过程中自动进行 —— 即，我提供了包之后，直接获…
pyspider不能自动运行
1、点run能够爬取；2、设置minutes=10 ,auto_recrawl=True3、running状态任务并不能自动到时间自动爬取（磁盘有足够空间）4、把pyspider终止再运行能…
pyspider0.3.8 crawl_config 参数设置不生效
我试了一下官方部署的DEMO是没有问题的，我在Win和Linux下都是新安装部署的都不行，旧版的就可以。。。为什么？部署环境：（Win8.1+Python2.7 CentOS…
如何开启多个phantomjs组件
发现fetcher、processor等其他组件开启了多个以后，性能的瓶颈就在phantomjs上。因为phantomjs是有定时重启，会导致重启期间、处理任务的过程中（只…
如何给phantomjs组件加代理
在pyspider里面，通过 proxy可以设置代理IP，但需要通过phantomjs去请求带有js的网页时，phantomjs并不能使用通过在crawl()中设置的代理，请问该如何…
crawl 连接网页超时，HTTP 599
unbuntu , pyspider 抓的是某宝的商品详情页，出现问题，始终连接不上。 上一级，商品的列表页，没有问题，也是使用了js的。 错误提示信息：[E 16063…
pyspider爬取外卖信息求高手指导
准备9月份开学给学生们讲一下爬虫，激发学生的学习兴趣。比较pyspider、Pholcus、WebCollector等开源爬虫框架，最后还是选择pyspider来制作演示例子…
pyspider点击run后再点绿箭头出现python停止错误
初学pyspider 环境为windows7 64位；python3.5.2 64位；anaconda3 4.1.1 64位phantomjs-2.1.1部署在 C:Anaconda3Scripts目录下使用wheel lxml-3.6.1-…
Pyspider webui调试错误
1.在Ubuntu上搭建好Pyspider环境后，用Pyspider all命令启动，然后在webui中单步调试测试时，遇到下面异常： Traceback (most recent call last): Fi…
在没有webui情况下，如何使用pyspider调试爬虫？
我们的pyspider部署在远程服务器上，只能通过shell远程登录文本界面，webui没法访问。请问如何在远程服务器上调试爬虫？例如部署爬虫代码，启动projec…
