pyspider0.3.8 crawl_config 参数设置不生效
我试了一下官方部署的DEMO是没有问题的,我在Win和Linux下都是新安装部署的都不行,旧版的就可以。。。为什么?
部署环境:(Win8.1+Python2.7 CentOS6.8+Python2.7)
配置如下:
class Handler(BaseHandler):
crawl_config = {
"proxy":"172.16.2.2:3128",
"headers":{
"Proxy-Connection": "keep-alive",
"Pragma": "no-cache",
"Cache-Control": "no-cache",
"User-Agent": "Mozilla/5.0 (Windows NT 6.3; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/52.0.2743.116 Safari/537.36",
"Accept": "*/*",
"DNT": "1",
"Accept-Encoding": "gzip, deflate, sdch",
"Accept-Language": "zh-CN,zh;q=0.8,en-US;q=0.6,en;q=0.4",
}
}
...
执行的时候如下,fetch是空的:
{
"fetch": {},
"process": {
"callback": "index_page"
},
"project": "news_top",
"schedule": {
"age": 864000
},
"taskid": "73804bb407415e0129e69659e1678264",
"url": "http://www.cwrank.com/"
}
如果你对这篇内容有疑问,欢迎到本站社区发帖提问 参与讨论,获取更多帮助,或者扫码二维码加入 Web 技术交流群。
绑定邮箱获取回复消息
由于您还没有绑定你的真实邮箱,如果其他用户或者作者回复了您的评论,将不能在第一时间通知您!
发布评论
评论(2)
参考该链接:
config配置不生效
确认是Bug,早些天前就已经修复了https://github.com/binux/pysp...