Scrapy网络爬虫无法抓取链接

Question

我对 Scrapy 很陌生。我的蜘蛛在这里爬行扭曲的网络。

class TwistedWebSpider(BaseSpider):

    name = "twistedweb3"
    allowed_domains = ["twistedmatrix.com"]
    start_urls = [
        "http://twistedmatrix.com/documents/current/web/howto/",
    ]
    rules = (
        Rule(SgmlLinkExtractor(),
            'parse',
            follow=True,
        ),
    )
    def parse(self, response):
        print response.url
        filename = response.url.split("/")[-1]
        filename = filename or "index.html"
        open(filename, 'wb').write(response.body)

当我运行 scrapy-ctl.pycrawltwistedweb3 时，它仅获取。

获取 index.html 内容，我尝试使用 SgmlLinkExtractor，它按我的预期提取链接，但无法跟踪这些链接。

你能告诉我哪里出错了吗？

假设我想获取css、javascript文件。我该如何实现这一目标？我的意思是获得完整的网站？

Answer 1

rules 属性属于 CrawlSpider。使用 class MySpider(CrawlSpider)。
另外，当您使用 CrawlSpider 时，您不得覆盖 parse 方法，
而是使用 parse_response 或其他类似的名称。