pyspider0.3.8 crawl_config 参数设置不生效

发布于 2022-09-03 14:43:56 字数 980 浏览 11 评论 0

我试了一下官方部署的DEMO是没有问题的,我在Win和Linux下都是新安装部署的都不行,旧版的就可以。。。为什么?
部署环境:(Win8.1+Python2.7 CentOS6.8+Python2.7)
配置如下:

class Handler(BaseHandler):
    crawl_config = {
        "proxy":"172.16.2.2:3128",
        "headers":{
            "Proxy-Connection": "keep-alive",
            "Pragma": "no-cache",
            "Cache-Control": "no-cache",
            "User-Agent": "Mozilla/5.0 (Windows NT 6.3; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/52.0.2743.116 Safari/537.36",
            "Accept": "*/*",
            "DNT": "1",
            "Accept-Encoding": "gzip, deflate, sdch",
            "Accept-Language": "zh-CN,zh;q=0.8,en-US;q=0.6,en;q=0.4",

        }
    } 
    ...

执行的时候如下,fetch是空的:

{
  "fetch": {},
  "process": {
    "callback": "index_page"
  },
  "project": "news_top",
  "schedule": {
    "age": 864000
  },
  "taskid": "73804bb407415e0129e69659e1678264",
  "url": "http://www.cwrank.com/"
}

如果你对这篇内容有疑问,欢迎到本站社区发帖提问 参与讨论,获取更多帮助,或者扫码二维码加入 Web 技术交流群。

扫码二维码加入Web技术交流群

发布评论

需要 登录 才能够评论, 你可以免费 注册 一个本站的账号。

评论(2

九厘米的零° 2022-09-10 14:43:56

参考该链接:
config配置不生效

月野兔 2022-09-10 14:43:56

确认是Bug,早些天前就已经修复了https://github.com/binux/pysp...

~没有更多了~
我们使用 Cookies 和其他技术来定制您的体验包括您的登录状态等。通过阅读我们的 隐私政策 了解更多相关信息。 单击 接受 或继续使用网站,即表示您同意使用 Cookies 和您的相关数据。
原文