如何使用 Selenium 和 Python 从特定类中提取 href 信息

Question

我目前正在使用 python 和 selenium 进行一些网络抓取，但我似乎无法从特定类的锚标记中的 href 中提取链接信息。作为参考，它来自 zillow （具体来说，此网址： https:// www.zillow.com/homes/for_rent/San-Francisco,-CA_rb/）。

我尝试了几种不同的选项来选择列出的锚标记，但似乎无法返回我需要的信息：

links = driver.find_elements(By.CLASS_NAME, "list-card-info")
print(links[0].get_attribute('href'))
 -- returns 
None

也尝试过

links = driver.find_elements(By.CLASS_NAME, "list-card-top")
print(links[0].get_attribute('href'))
 -- returns 
None

links = driver.find_elements(By.CLASS_NAME, "list-card-link list-card-link-top-margin")
print(links[0].get_attribute('href'))
 -- returns 
None

，最后

links = driver.find_elements(By.CSS_SELECTOR, "list-card-info.a")
print(links[0].get_attribute('href'))

我知道我可以拉出所有锚标记，但肯定有一个我在这里缺少获取嵌套锚标记值的步骤？或者我拉错了课？不确定我哪里出错了？

Answer 1

要打印 href 属性的价值，您必须诱导 webdriverwait 对于 visibility_of_all_elements_located（） ：//stackoverflow.com/a/71640649/7429447“> list slicing 您可以使用以下任何一个定位器策略：

• 使用 css_selector ：：

   驱动程序%3A%22San%20Francisco%2C%20CA%22%2C%22mapBounds%22%3A%7B%22west%22%3A-122.62421695117187%2C%22east%22%3A-122.24244204882812%2C%22south%22%3A37.70334422496088 ％2C％22NORTH％22％3A37.84716973355808％7D％2C％22区域选择％22％22％3A％5B％7B％22 RegionId％22％3A20330％2C％2C％22Regiontype％22 gregiontype％22％22％3A6％7D％7D％7D％7D％2C％2C％22％22％22％22％22％22％22％22％ ％2C％22filterState％22％3A％7B％22FSBA％22％3A％7b％22Value％22％22％3AFALSE％7D％2C％22NC％22％22％22％3A％7B％22Value％22％22％3AFALSE％3afalse％3AFALSE％3AFALSE％7d％2C％2C％22 fore％22 ％3A％7B％22Value％22％3AFALSE％7D％2C％22CMSN％22％22％3A％7b％22VALUE％22％22％3AFALSE％7D％2C％2C％22fr％22％22％3A％3A％7B％22VALUE％22VALUE％22％22％3ATRUE％3ATrue％7D％2C ％22AH％22％22％3A％7b％22VALUE％22％3Atrue％7D％7D％2C％22 issiscible％22％22％3Atrue％2C％22mapzoom％22mapzoom％22％3A11％7D'）
  print（[my_elem.get_attribute（“ href”）在webdriverwait中为my_elem（驱动程序，20）.until（ec.visibility_of_all_elements_located（（（by.css_selector ]”）））））
   

• 在单行中

  使用 xpath ：

   驱动程序%3A%22San%20Francisco%2C%20CA%22%2C%22mapBounds%22%3A%7B%22west%22%3A-122.62421695117187%2C%22east%22%3A-122.24244204882812%2C%22south%22%3A37.70334422496088 ％2C％22NORTH％22％3A37.84716973355808％7D％2C％22区域选择％22％22％3A％5B％7B％22 RegionId％22％3A20330％2C％2C％22Regiontype％22 gregiontype％22％22％3A6％7D％7D％7D％7D％2C％2C％22％22％22％22％22％22％22％22％ ％2C％22filterState％22％3A％7B％22FSBA％22％3A％7b％22Value％22％22％3AFALSE％7D％2C％22NC％22％22％22％3A％7B％22Value％22％22％3AFALSE％3afalse％3AFALSE％3AFALSE％7d％2C％2C％22 fore％22 ％3A％7B％22Value％22％3AFALSE％7D％2C％22CMSN％22％22％3A％7b％22VALUE％22％22％3AFALSE％7D％2C％2C％22fr％22％22％3A％3A％7B％22VALUE％22VALUE％22％22％3ATRUE％3ATrue％7D％2C ％22AH％22％22％3A％7b％22VALUE％22％3ATrue％7D％7D％2C％22islistible％22％22％3Atrue％2C％22mapzoom％22mapzoom％22％3A11％7D'）
  print（[my_elem.get_attribute（“ href”）for webdriverwait中的my_elem（驱动程序，20）.until（ec.visibility_of_all_ellements_located（（（by.xpath，“ // div，”@div [@class class ='list-card-top'a List-card-top'] [@href]”）））））
   

• 控制台输出：

    ['https://www.zillow.com/homedetails/san-francisco-ca-94134/15166498_zpid/'，' -francisco-ca-btfktx/'，'https://www.zillow.com/b/solaire-san-francisco-ca-65g7kk/'，'https://www.zillow.com/homedetails/117-saint -Charles-ave-san-francisco-ca-94132/15195262_zpid/'，' ：//www.zillow.com/homedetails/123-carl-san-francisco-ca-94117/2078490576_zpid/'，'，' ca-bdnypc/'，'https://www.zillow.com/b/l-seven-san-san-francisco-ca-9njtd7/'，'，' ST-SAN-FRANCISCO-CA-94114/332858409_ZPID/']
   

• 注意：您必须添加以下导入：

   来自selenium.webdriver.support.ui导入webdriverwait
  从selenium.webdriver.common.通过进口
  从selenium.webdriver.support进口预期_conditions作为ec
   

Answer 2

您可以使用XPATH查找链接（标签）并使用get_attribute（'href'）从标签中获取链接。

Like this:

href = driver.find_element(By.XPATH, '//div[@class="list-card-top"]/a').get_attribute('href')
print(href)

Another example:

href = driver.find_element(By.XPATH, '//div[@class="list-card-info"]/a').get_attribute('href')
print(href)

If you want to use By.CLASS_NAME, you could do it like this:

link = driver.find_element(By.CLASS_NAME, "list-card-top")
a = link.find_element(By.TAG_NAME, 'a').get_attribute('href')
print(href)

In your case:

links = driver.find_elements(By.CLASS_NAME, "list-card-info")
print(links[0].get_attribute('href'))

You're trying to find an attribute named 'href' in that div element with班级列表-Info。实际上，我们想从该div内的A标签中获取“ HREF”。