如何使用 CSS 选择器 (Scrapy) 从包含特定文本的类中获取 href

Question

我正在使用以下网站： https://inmuebles.mercadolibre.com.mx/venta/ ，我正在尝试从“Inmueble”部分（红色）的“ver_todos”按钮获取链接。但是，访问该网站时，“Tour virtual”和“Publicados hoy”部分（蓝色）可能会出现，也可能不会出现。

图所示，类 ui-search-filter-dl 包含上图中菜单中的特定部分；而 ui-search-filter-container 类包含网站显示的子部分（例如 Inmueble 的 Casas、Departamento 和 Terrenos）。为了从“Inmueble”部分的“ver todos”按钮获取链接，我使用了这行代码：

ver_todos = response.css('div.ui-search-filter-dl')[2].css('a.ui-search-modal__link').attrib['href']

但由于“Tour virtual”和“Publicados hoy”并不总是在页面中，我无法确定索引 2 处的 ui-search-filter-dl 始终是与“ver todos”按钮对应的索引。

我试图使用这行代码从“ver todos”获取链接：

response.css(''':contains("Inmueble") ~ .ui-search-filter-dt-title
                            .ui-search-modal__link::attr(href)''').extract()

基本上，我试图从 ui-search-filter-dt-title 获取 href类其中包含标题“Inmueble”。不幸的是，输出是一个空列表。我想通过使用 css 和正则表达式找到“ver todos”的链接，但我遇到了问题。我怎样才能做到这一点？

Answer 1

我认为在大多数情况下xpath更容易选择目标元素：

代码：

xpath = "//div[contains(text(), 'Inmueble')]/following-sibling::ul//a[contains(@class,'ui-search-modal__link')]/@href"
url = response.xpath(xpath).extract()[0]

实际上，我没有创建一个scrapy项目来检查你的代码。或者，我实现了以下代码：

from lxml import html
import requests

res = requests.get( "https://inmuebles.mercadolibre.com.mx/venta/")

dom = html.fromstring(res.text)

xpath = "//div[contains(text(), 'Inmueble')]/following-sibling::ul//a[contains(@class,'ui-search-modal__link')]/@href"
url = dom.xpath(xpath)[0]

assert url == 'https://inmuebles.mercadolibre.com.mx/venta/_FiltersAvailableSidebar?filter=PROPERTY_TYPE'

由于scrapy和lxml之间的xpath应该是相同的，当然，我希望开头显示的代码也能在您的scrapy项目中正常工作。

Answer 2

一种简单的方法是获取所有链接 ，然后检查其任何文本是否与 ver todos 匹配。

import requests
from bs4 import BeautifulSoup

link = "https://inmuebles.mercadolibre.com.mx/venta/"

def main():
  res = requests.get(link)
  if res.status_code == 200:
    soup = BeautifulSoup(res.text, "html.parser")
    links = [a["href"] for a in soup.select("a") if a.text.strip().lower() == "ver todos"]
    print(links)


if __name__ == "__main__":
  main()