抓取任何网站 HTTPError: HTTP 599: Resolving timed out
Traceback (most recent call last): File "D:\Program Files (x86)\python\python3.5-32\lib\site-packages\pyspider-0.3.7-py3.5.egg\pyspider\lib…
pyspider结果存入mysql中文乱码
系统环境：ubuntu16.04 + pyspider0.3.8 + python3.6 mysql的默认字符编码已经改为utf8，resultdb表的字符编码也是utf8，但是入库的数据，中文字全变…
pyspider翻页问题？
想要爬取爱卡汽车的每个汽车的口碑，但是在翻页问题总是进不去，无论是用chorme还是自带的css selector helper抓取到的CSS PATH都无法翻页，请求帮助…
pyspider import projects 时报 No module named 'projects' 错误
osx 系统，编写脚本时报 No module named 'projects' 错误。我是想建一个 utils 项目，然后把许多项目都要用到的如 clean 等函数放进去，然后供不同项…
pyspider 通过rate调节速度，到了一个速度后不在加速
我用Pyspider爬去数据，通过rate调节速度。但是我发现，几乎rate设置为20多和100差不多一个效果大概都是每五分钟5000左右 想问下，pyspider有什么速…
python这个类中的方法到底有什么用处啊
class BaseDB: ''' BaseDB dbcur should be overwirte ''' __tablename__ = None placeholder = '%s' maxlimit = -1 @staticmethod def escape(strin…
求进 PySpider启动时OSError: [Errno 28] No space left on device
在启动PySpider时报OSError: [Errno 28] No space left on device磁盘空间是足的，如图 求大神指点 config.json 文件： { "taskdb": "mongodb+taskdb…
crawl函数遭遇http error (错误代码559)后停止
我所爬取的目标网站，每一个网页中会有一个跳到下一页的链接，但是由于这个链接与对应网页的页码不对应，所以只能爬下当前页面后去提取这个链接。这…
pyspdier run时运行到on_start就停止 但是单步调试可继续
问题如上，代码如下 #!/usr/bin/env python # -*- encoding: utf-8 -*- from pyspider.libs.base_handler import * class Handler(BaseHandler): cra…
pyspider 数据库redis,ES混搭是否合适？
1.database中已有对ES的支持，但文档中并没有介绍2.database中有对redis的支持，但只有taskdb,是否是建议taskdb放到redis中？3.projectdb使用mysql,ta…
