从 div 类提取数据 Python Selenium

Question

我试图从 Python Selenium 中的 div 类中提取特定的数字，但不知道该怎么做。我想要获取“post_parent”ID 947630，只要它与以 09007 开头的“post_name”号码匹配即可。

我希望在多个“post_name”类中执行此操作，因此我会向其提供如下内容：search_text =“0900766b80090cb6”，但将来会有多个，因此它必须读取首先“post_name”，然后拉“post_parent”（如果有意义的话）。

感谢任何人提供的任何建议。

    <div class="hidden" id="inline_947631">
    <div class="post_title">Interface Converter</div>
    <div class="post_name">0900766b80090cb6</div>
    <div class="post_author">28</div>
    <div class="comment_status">closed</div>
    <div class="ping_status">closed</div>
    <div class="_status">inherit</div>
    <div class="jj">06</div>
    <div class="mm">07</div>
    <div class="aa">2001</div>
    <div class="hh">15</div>
    <div class="mn">44</div>
    <div class="ss">17</div>
    <div class="post_password"></div>
    <div class="post_parent">947630</div>
    <div class="page_template">default</div>
    <div class="tags_input" id="rs-language-code_947631">de</div>
    </div>

Answer 1

如果您看到

0900766b80090cb6

这和

947630

是兄弟节点彼此相连。

您可以使用 xpath -> follow-sibling 像这样：

代码：

search_text = "0900766b80090cb6"
post_parent_num = driver.find_element(By.XPATH, f"//div[@class='post_name' and text()='{search_text}']//following-sibling::div[@class='post_parent']").text
print(post_parent_num)

或使用 ExplicitWait：

search_text = "0900766b80090cb6"
post_parent_num = WebDriverWait(driver, 20).until(EC.visibility_of_element_located((By.XPATH, f"//div[@class='post_name' and text()='{search_text}']//following-sibling::div[@class='post_parent']"))).get_attribute('innerText')
print(post_parent_num)

导入：

from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.common.by import By
from selenium.webdriver.support import expected_conditions as EC

更新：

NoSuchElementException:

请检查在开发工具（Google Chrome）中，我们是否在HTML-DOM中有唯一条目。

您应该检查的 xpath ：

//div[@class='post_name' and text()='0900766b80090cb6']//following-sibling::div[@class='post_parent']

检查步骤：

在 Chrome 中按 F12 ->转到 element 部分 ->执行 CTRL + F ->然后粘贴xpath并查看您所需的元素是否通过1/1匹配节点突出显示。

如果这是唯一的 //div[@class='post_name' and text()='0900766b80090cb6']//following-sibling::div[@class='post_parent'] 那么你需要还要检查以下条件。

1. 检查它是否在任何 iframe/frame/frameset 中。

   解决方案：先切换到 iframe/frame/frameset，然后与此 Web 元素交互。

2. 检查它是否在任何 shadow-root 中。

   解决方案：使用driver.execute_script('return document.querySelector)返回一个Web元素，然后进行相应的操作。

3. 在交互之前确保该元素正确渲染加上一些硬编码延迟或显式等待，然后重试。

   解决方案： time.sleep(5) 或

   WebDriverWait(driver, 20).until(EC.visibility_of_element_ located((By.XPATH, "//div[@class='post_name' and text()='0900766b80090cb6']//以下同级： :div[@class='post_parent']"))).text

4. 如果您已重定向到新选项卡/或新窗口并且您尚未切换到该特定新选项卡/新窗口，否则您可能会得到NoSuchElement异常。

   解决方案：先切换到相关窗口/选项卡。

5. 如果您已切换到 iframe 并且新的所需元素不在同一 iframe 上下文中，则首先切换到默认内容，然后与其交互。

   解决方案：切换到默认内容，然后切换到相应的 iframe。

Answer 2

我没有看到“post_parent”ID 947630 和以 09007 开头的“post_name”号码之间有任何特定关系。此外，父级

具有 class="hidden"。

但是，要提取特定数字，您可以使用以下任一定位器策略< /em>：

• 使用css_selector：

  print(driver.find_element(By.CSS_SELECTOR, "div[id^='inline'] div.post_parent").text)
  

• 使用xpath：

  print(driver.find_element(By.XPATH, "//div[starts-with(@id, 'inline_')]//div[@class='post_parent']").text)
  

---

理想情况下，您需要为 WebDriverWait /stackoverflow.com/a/57313803/7429447">presence_of_element_ located() 并且您可以使用以下任一方法定位器策略：

• 使用CSS_SELECTOR：

  print(WebDriverWait(driver, 20).until(EC.presence_of_element_ located((By.CSS_SELECTOR, "div[id^='inline'] div.post_parent"))).text)
  

• 使用XPATH：

  print(WebDriverWait(driver, 20).until(EC.presence_of_element_ located((By.XPATH, "//div[starts-with(@id, 'inline_')]//div[@class= 'post_parent']"))).text)
  

• 注意：您必须添加以下导入：

  从 selenium.webdriver.support.ui 导入 WebDriverWait
  从 selenium.webdriver.common.by 导入
  从 selenium.webdriver.support 导入预期条件作为 EC
  

Answer 3

您可以创建一个方法并使用以下 xpath 根据 post_name 文本获取 post_parent 文本。

def getPostPatent(postname):
    element=driver.find_element(By.XPATH,"//div[@class='post_name' and starts-with(text(),'{}')]/following-sibling::div[@class='post_parent']".format(postname))
    print(element.get_attribute("textContent"))

getPostPatent('09007') 

如果它与文本 starts-with('09007') 匹配，它将返回值

似乎父类被隐藏，您需要使用 textContent 来获取值。