在scrapy中获取与给定页面中的href元素关联的文本

Question

目前，我的 scrapy 蜘蛛中的“产量”如下所示：

yield {
        'hreflink':mylink,
        'Parentlink':response.url
            }

这将返回一个字典

 {
    'hreflink':"https://www.southeasthealth.org/wp-content/uploads/Southeast-Health-Standard-Charges-2022.xlsx",
    'Parentlink': "https://www.southeasthealth.org/financial-information-price-transparency/"
    }

现在，我还想要与该特定的 hreflink 关联的“文本”，在该特定的 Parentlink 中。所以我的最终输出应该看起来像

 {
    'hreflink':"https://www.southeasthealth.org/wp-content/uploads/Southeast-Health-Standard-Charges-2022.xlsx",
    'Parentlink': "https://www.southeasthealth.org/financial-information-price-transparency/",
     'Yourtext' : "Download Pricing Info"
    }

什么是实现这一目标的最简单方法。我想使用 Xpath 表达式来获取父链接中的“文本”，其中 href element = @href 。

到目前为止，这是我绑的 - Yourtext = response.xpath('//a[@href='+json.dumps(each)+']//text()').get() 但它不打印任何东西。我尝试打印我的回复，它返回正确的页面 - 'https://www.southeasthealth.org/financial-information-price-transparency/'

Answer 1

如果我理解正确的话，您想要获取属于链接下载定价信息的文本。

我建议您尝试使用：

response.xpath("//span[@class='fusion-button-text']//text()").get()

Answer 2

我找到了我的问题的答案。

'//a[@href='+json.dumps(each)+']//text()' 

这是正确的表达式，但是 href 链接“each”区分大小写，并且需要完全匹配才能使该 Xpath 正常工作。