无法让 Scrapy 跟踪链接

Question

我正在尝试抓取一个网站，但无法使用 scrapy 来跟踪链接，也没有收到任何 Python 错误，而且 Wireshark 也没有看到任何情况。我认为这可能是正则表达式，但我尝试使用“.*”来尝试跟踪任何链接，但它也不起作用。 “parse”方法确实有效，但我需要遵循“sinopsis.aspx”和回调 parse_peliculas。

编辑：注释解析方法使规则正常工作... parse_peliculas 运行，我现在要做的是将解析方法更改为另一个名称并使用回调制定规则，但我仍然无法让它工作。

这是我的蜘蛛代码：

import re

from scrapy.selector import HtmlXPathSelector
from scrapy.contrib.linkextractors.sgml import SgmlLinkExtractor
from scrapy.contrib.spiders import CrawlSpider, Rule
from Cinesillo.items import CinemarkItem, PeliculasItem

class CinemarkSpider(CrawlSpider):
    name = 'cinemark'
    allowed_domains = ['cinemark.com.mx']
    start_urls = ['http://www.cinemark.com.mx/smartphone/iphone/vercartelera.aspx?fecha=&id_theater=555',
                  'http://www.cinemark.com.mx/smartphone/iphone/vercartelera.aspx?fecha=&id_theater=528']


    rules = (Rule(SgmlLinkExtractor(allow=(r'sinopsis.aspx.*', )), callback='parse_peliculas', follow=True),)

    def parse(self, response):
        item = CinemarkItem()
        hxs = HtmlXPathSelector(response)
        cine = hxs.select('(//td[@class="title2"])[1]')
        direccion = hxs.select('(//td[@class="title2"])[2]')

        item['nombre'] = cine.select('text()').extract()
        item['direccion'] = direccion.select('text()').extract()
        return item

    def parse_peliculas(self, response):
        item = PeliculasItem()
        hxs = HtmlXPathSelector(response)
        titulo = hxs.select('//td[@class="pop_up_title"]')
        item['titulo'] = titulo.select('text()').extract()
        return item

谢谢

Answer 1

编写爬行蜘蛛规则时，避免使用解析作为回调，因为
CrawlSpider 使用 parse 方法本身来实现其逻辑。
因此，如果您重写解析方法，爬行蜘蛛将不再
工作。

http://readthedocs.org/docs/scrapy /en/latest/topics/spiders.html