无法使用Python和Selenium检索HREF属性

Question

我对此非常陌生，并且花了几个小时尝试我在这里阅读的各种方法。很抱歉，如果我犯了一些愚蠢的错误

，我想创建一个乐高积木的数据库。从Brickset.com中摘下图像和信息，

我正在使用：

anchors = driver.find_elements_by_xpath('//*[@id="ui-tabs-2"]/ul/li[1]/a')
anchors = [a.get_attribute('href') for a in anchors]

打印（锚）返回：

anchors = driver.find_elements_by_xpath('//*[@id="ui-tabs-2"]/ul/li[1]/a')

我要定位的是：

div id="ui-tabs-2" class="ui-tabs-panel ui-widget-content ui-corner-bottom" aria-live="polite" aria-labelledby="ui-id-4" role="tabpanel" aria-expanded="true" aria-hidden="false" style="display: block;">
<ul class="moreimages">
<li>
<a href="https://images.brickset.com/sets/AdditionalImages/21054-1/21054_alt10.jpg" class="highslide plain " onclick="return hs.expand(this)">
<img src="https://images.brickset.com/sets/AdditionalImages/21054-1/tn_21054_alt10_jpg.jpg" title="" onerror="this.src='/assets/images/spacer2.png'" loading="lazy">
</a><div class="highslide-caption">

我失去了想解决这个问题的想法。

更新 仍然没有获得HREF属性。为了添加更多细节，我正在尝试将图像在此URL上的“图像”选项卡下获取： https://brickset.com/sets/sets/21330-1/home-alone 这是有问题的代码：

anchors = driver.find_elements(By.XPATH, '//*[@id="ui-tabs-2"]/ul/li/a')
links = [anchors.get_attribute('href') for a in anchors]
print('Found ' + str(len(anchors)) + ' links to images')

我也尝试过：

#anchors = driver.find_elements_by_css_selector("a[href*='21330']")

这仅返回了一个HREF，即使应该有大约十二个。

谢谢大家的帮助！

Answer 1

您不应该为多个变量使用相同的名称。

根据第一行代码：

anchors = driver.find_elements_by_xpath('//*[@id="ui-tabs-2"]/ul/li[1]/a')

锚是WebElements的列表。 下，使用 href 属性创建另一个列表，您应该使用另一个名称，例如

理想情况 BE：

anchors = driver.find_elements_by_xpath('//*[@id="ui-tabs-2"]/ul/li[1]/a')
hrefs = [a.get_attribute('href') for a in anchors]
print(hrefs)

使用 list classence 在一行：

print(a.get_attribute('href') for a in driver.find_elements_by_xpath('//*[@id="ui-tabs-2"]/ul/li[1]/a'))

Answer 2

第一件事，driver.find_elements_by_xpath已弃用，使用driver.find_element（by.xpath，'locator''）而不是。

现在，如果您想获取页面上链接的所有href：

elements = driver.find_element(By.XPATH, '//*[@id="ui-tabs-2"]/ul/li/a')
links = [element.get_attribute('href') for element in elements]

请注意，我不使用[1]来获取一个元素，而是而是所有元素。

Answer 3

您可能想尝试一下。

注意：我在此处不使用硒。

import time

import requests
from bs4 import BeautifulSoup

headers = {
    "User-Agent": "Mozilla/5.0 (Macintosh; Intel Mac OS X 10.15; rv:99.0) Gecko/20100101 Firefox/99.0",
}

sample_urls = [
    "https://brickset.com/sets/21330-1/Home-Alone",
    "https://brickset.com/sets/21101-1/Hayabusa"
]

with requests.Session() as s:
    for sample_url in sample_urls:
        ajax_setID = [
            a["href"] for a in
            BeautifulSoup(s.get(sample_url, headers=headers).text, "lxml").find_all("a")
            if "mainImage" in a["href"]
        ][0]
        image_url = f"https://brickset.com{ajax_setID}&_{int(time.time() * 1000)}"
        headers.update(
            {
                "Referer": sample_url,
                "X-Requested-With": "XMLHttpRequest",
            }
        )
        source_image = (
            BeautifulSoup(
                s.get(image_url, headers=headers).text, "lxml"
            ).find("img")["src"]
        )
        print(f"{sample_url.split('/', -1)[-1]} -> {source_image}")

这应该输出：

Home-Alone -> https://images.brickset.com/sets/images/21330-1.jpg?202109060933
Hayabusa -> https://images.brickset.com/sets/images/21101-1.jpg?201201150457