在 Scrapy 中使用经过身份验证的会话进行爬网

Question

在我的上一个问题中，我对我的问题不是很具体（使用Scrapy进行经过身份验证的会话进行抓取），在希望能够从更一般的答案中推导出解决方案。我可能更应该使用“爬行”这个词。

所以，这是到目前为止我的代码：

class MySpider(CrawlSpider):
    name = 'myspider'
    allowed_domains = ['domain.com']
    start_urls = ['http://www.domain.com/login/']

    rules = (
        Rule(SgmlLinkExtractor(allow=r'-\w+.html$'), callback='parse_item', follow=True),
    )

    def parse(self, response):
        hxs = HtmlXPathSelector(response)
        if not "Hi Herman" in response.body:
            return self.login(response)
        else:
            return self.parse_item(response)

    def login(self, response):
        return [FormRequest.from_response(response,
                    formdata={'name': 'herman', 'password': 'password'},
                    callback=self.parse)]


    def parse_item(self, response):
        i['url'] = response.url

        # ... do more things

        return i

如您所见，我访问的第一个页面是登录页面。如果我尚未通过身份验证（在 parse 函数中），我会调用自定义 login 函数，该函数会发布到登录表单。然后，如果我已通过身份验证，我想继续抓取。

问题是我尝试重写以登录的 parse 函数现在不再进行必要的调用来抓取任何其他页面（我假设）。而且我不知道如何保存我创建的项目。

以前有人做过类似的事情吗？ （使用 CrawlSpider 进行身份验证，然后抓取）任何帮助将不胜感激。

Answer 1

不要重写 CrawlSpider 中的 parse 函数：

当您使用 CrawlSpider 时，不应重写解析函数。这里的 CrawlSpider 文档中有一个警告：http://doc.scrapy.org/en/0.14/topics/spiders.html#scrapy.contrib.spiders.Rule

这是因为使用 CrawlSpider， parse（任何请求的默认回调）发送要由Rule处理的响应。

---

爬行前登录：

为了在蜘蛛开始爬行之前进行某种初始化，您可以使用 InitSpider （它继承自 CrawlSpider)，并覆盖 init_request 函数。该函数将在蜘蛛初始化时、开始爬行之前被调用。

为了让蜘蛛开始爬行，您需要调用self.initialized。

您可以在此处（它有有用的文档字符串）。

---

示例：

from scrapy.contrib.spiders.init import InitSpider
from scrapy.http import Request, FormRequest
from scrapy.contrib.linkextractors.sgml import SgmlLinkExtractor
from scrapy.contrib.spiders import Rule

class MySpider(InitSpider):
    name = 'myspider'
    allowed_domains = ['example.com']
    login_page = 'http://www.example.com/login'
    start_urls = ['http://www.example.com/useful_page/',
                  'http://www.example.com/another_useful_page/']

    rules = (
        Rule(SgmlLinkExtractor(allow=r'-\w+.html

 保存项目：
您的 Spider 返回的项目将被传递到管道，管道负责对数据执行您想要执行的任何操作。我建议您阅读文档： http://doc.scrapy.org/ en/0.14/topics/item-pipeline.html
如果您对 Item 有任何问题/疑问，请随时提出新问题，我会做的我尽力提供帮助。
),
             callback='parse_item', follow=True),
    )

    def init_request(self):
        """This function is called before crawling starts."""
        return Request(url=self.login_page, callback=self.login)

    def login(self, response):
        """Generate a login request."""
        return FormRequest.from_response(response,
                    formdata={'name': 'herman', 'password': 'password'},
                    callback=self.check_login_response)

    def check_login_response(self, response):
        """Check the response returned by a login request to see if we are
        successfully logged in.
        """
        if "Hi Herman" in response.body:
            self.log("Successfully logged in. Let's start crawling!")
            # Now the crawling can begin..
            return self.initialized()
        else:
            self.log("Bad times :(")
            # Something went wrong, we couldn't log in, so nothing happens.

    def parse_item(self, response):

        # Scrape data from page

---

保存项目：

您的 Spider 返回的项目将被传递到管道，管道负责对数据执行您想要执行的任何操作。我建议您阅读文档： http://doc.scrapy.org/ en/0.14/topics/item-pipeline.html

如果您对 Item 有任何问题/疑问，请随时提出新问题，我会做的我尽力提供帮助。

Answer 2

为了使上述解决方案发挥作用，我必须通过在 scrapy 源代码上更改以下内容，使 CrawlSpider 继承自 InitSpider，而不再继承自 BaseSpider。在文件 scrapy/contrib/spiders/crawl.py 中：

1. 添加： from scrapy.contrib.spiders.init import InitSpider
2. 将 class CrawlSpider(BaseSpider) 更改为 class CrawlSpider (InitSpider)

否则蜘蛛不会调用 init_request 方法。

还有其他更简单的方法吗？

Answer 3

如果您需要的是 Http 身份验证，请使用提供的中间件挂钩。

在 settings.py

DOWNLOADER_MIDDLEWARE = [ 'scrapy.contrib.downloadermiddleware.httpauth.HttpAuthMiddleware']

和 spider class 中添加属性

http_user = "user"
http_pass = "pass"

Answer 4

只是添加到上面橡子的答案中。
使用他的方法，我的脚本在登录后没有解析 start_urls。
在 check_login_response 中成功登录后退出。
不过我可以看到我有发电机。
我需要使用

return self.initialized()

然后调用解析函数。

Answer 5

对我来说，情况完全不同。我发现我在登录后从网站收到了身份验证令牌和用户令牌作为cookie。

这就是为什么我寻找一个快速简单的解决方案，就是像这样将 cookie 传递给请求。确保 cookie 不会很快过期。就我而言，它会在一个月后到期。调用此请求后，我将自动登录到该页面：

yield scrapy.Request(
  url=url, 
  callback=self.parse, 
  encoding='utf-8', 
  cookies=[
        {
          'name': 'token',
          'value': '7f2e791v27v7027ob28dgvw70dva0d76ad',
          'domain': '.test.website.com',
          'path': '/',
          'expires': '2024-07-05T10:30:50.200Z',
          'size': '105'},
        {
          'name': 'user',
          'value': 'zu32geubwq8wbe8e73vebqw0vewq7evwqe70',
          'domain': '.test.website.com',
          'path': '/',
          'expires': '2024-07-05T10:30:50.200Z',
          'size': '100'}
  ]
)