Scrapy 技巧 如何调试你的爬虫

Question

你的爬虫不工作了，但是你想不明白为啥。一个快速识别潜在问题的方法是添加一些打印语句，以找出发生了什么。这通常是我的第一个步骤，而有时我所需要做的是发现那些妨碍我的爬虫正常运行的错误。如果这个方法对你有效，那就太棒了，但是如果这个方法还不够，那么读下去，学学如何处理那些需要更加彻底调查的令人讨厌的 bug。在这篇文章中，我将向你介绍一些工具，当涉及到调试爬虫时，它们应该在每个 Scrapy 用户的工作区中。

Scrapy Shell 是你的好基友

Scrapy shell 是一个全功能的 Python shell，它加载了与你在你的爬虫的回调方法中得到的上下文相同的上下文。你只需要提供一个 URL，Scrapy Shell 就会让你与那个你的爬虫在它的回调中处理的相同的对象进行交互，包括 response 对象。

    $ scrapy shell http://blog.scrapinghub.com 
    [s] Available Scrapy objects:
    [s]   crawler    <scrapy.crawler.Crawler object at 0x7f0638a2cbd0>
    [s]   item       {}
    [s]   request    <GET http://blog.scrapinghub.com>
    [s]   response   <200 https://blog.scrapinghub.com/>
    [s]   settings   <scrapy.settings.Settings object at 0x7f0638a2cb50>
    [s]   spider     <DefaultSpider 'default' at 0x7f06371f3290>
    [s] Useful shortcuts:
    [s]   shelp()           Shell help (print this help)
    [s]   fetch(req_or_url) Fetch request (or URL) and update local objects
    [s]   view(response)    View response in a browser
    >>>

加载它之后，你可以开始玩玩 response，以构建选择器来提取所需的数据。

    >>> response.css("div.post-header > h2 ::text").extract()
    ...

如果你不熟悉 Scrapy Shell，那么不妨试一试。它与你的开发工作流程可以完美契合，它位于在浏览器中进行页面检查的动作之后。你可以创建并测试爬虫的抽取规则，而一旦你构建了所需的规则，就可以在爬虫代码中使用它们。

通过官方文档，了解更多关于 Scrapy Shell 的细节 。

从你的 Spider 代码中启动 Scrapy Shell

如果对于某些响应，你的爬虫表现异常，那么在爬虫代码中使用 scrapy.shell.inspect_response 方法，你可以很快地看到发生了什么事。这将打开一个 Scrapy shell 会话，以让你与当前的 response 对象进行交互。

例如，假设你的爬虫不从某些页面中提取所期望数量的项，而你想要看看网站返回的响应有啥问题：

    from scrapy.shell import inspect_response

    def BlogSpider(scrapy.Spider)
        ...
        def parse(self, response):
            if len(response.css('div.post-header > h2 ::text')) > EXPECTED:
                # generate the items
            else:
                inspect_response(response, self)
            ...

一旦执行这个 inspect_response 调用，Scrapy Shell 就会被打开，而你就能与 response 进行交互，从而看看发生了啥事。

快速绑定一个调试器到你的 Spider

另一个调试爬虫的方法是使用常规的 Python 调试器，例如 pdb 或者 PuDB。我使用 PuDB ，因为它是一个相当强大且易于使用的调试器，而要激活它，我所需要的只是将这行代码放在我想要断点的那一行：

import pudb; pudb.set_trace()

当到达断点的时候，PuDB 在你的终端中打开一个很酷的文本模式的用户界面，它将带你回到使用 Turbo Pascal 调试器的那些美好的旧时光。

看一看：

你可以使用 pip 安装 PuDB：

    $ pip install pudb

看看这个视频，其中，我们自己的 @eliasdorneles 演示了使用 PuDB 的几个小技巧： https://vimeo.com/166584837

Scrapy 解析 CLI 命令

有些情况下，你需要你的爬虫很长一段时间运行某些爬取项目。但是，在运行了几个小时后，你可能会悲催地在日志中看到，对于一些特​​定的 URL，爬虫之一有爬取问题。你想要调试爬虫，但你肯定不希望再运行整个抓取过程，并且要等到为该特定的 URL 调用的具体的回调，这样你就可以启动你的调试器。

别担心，Scrapy CLI 的 parse 命令 就是为了让你节约时间的！你只需要提供该爬虫的名字，应该使用的爬虫的回调，以及你想要解析的 URL：

    $ scrapy parse https://blog.scrapinghub.com/comments/bla --spider blog -c parse_comments

在这种情况下，Scrapy 将会调用 blog 爬虫的 parse_comments 方法来解析 blog.scrapinghub.com/comments/bla URL。如果你不指定爬虫，那么 Scrapy 将会在你的项目中，基于爬虫的 allowed_domains 设置，搜寻能够处理这个 URL 的爬虫。

然后，它将会向你显示回调的执行摘要：

    >>> STATUS DEPTH LEVEL 1 <<<
    # Scraped Items  ------------------------------------------------------------
    [{'comments': [
        {'content': u"I've seen this language ...",
         'username': u'forthemostpart'},
        {'content': u"It's a ...",
         'username': u'YellowAfterlife'},
        ...
        {'content': u"There is a macro for ...",
        'username': u'mrcdk'}]}]
    # Requests  -----------------------------------------------------------------
    []

你也可以在方法里面附加一个调试器，以帮助你弄清楚发生了什么（见前面的提示）。

Scrapy fetch 和 view 命令

在浏览器中检查页面内容可能会被欺骗，因为它们的 JavaScript 引擎可能渲染某些 Scrapy 下载器不会做的内容。如果你想快速检查当一个页面被 Scrapy 下载后，该页面会看起来是什么样的，那么你可以使用下面这些命令：

• fetch : 使用 Scrapy 下载器下载 HTML，然后打印到标准输出。
• view : 使用 Scrapy 下载器下载 HTML，然后用你的默认浏览器打开它。

例如 :

$ scrapy fetch http://blog.scrapinghub.com > blog.html
$ scrapy view http://scrapy.org 

使用--pdb 选项，对爬虫进行事后剖析侦错

编写防故障软件几乎是不可能的。这种情况对于网络爬虫更加糟糕，因为它们处理的网页内容是经常变化的（和损坏的）。最好接受我们的爬虫最后将会失败，并确保我们有工具来快速了解为什么它挂了，并能尽快解决这个问题。

Python 的回溯是棒棒哒，但在某些情况下，它们不向我们提供关于在我们的代码中发生了什么的足够信息。这就是事后剖析侦错的用武之地。Scrapy 提供了-- --pdb 命令行选项，它在你的爬虫挂掉的地方打开一个 pdb 会话，这样你就可以检查它的上下文，从而明白发生了什么：

$ scrapy crawl blog -o blog_items.jl --pdb

如果你的爬虫由于致命异常而挂了，那么 pdb 调试器将会打开，这样你就可以仔细检查其死因。