使用Python在Selenium WebDriver中获取WebElement的HTML源

Question

我正在使用 Python 绑定来运行 Selenium WebDriver：

from selenium import webdriver
wd = webdriver.Firefox()

我知道我可以像这样获取一个 webelement：

elem = wd.find_element_by_css_selector('#my-id')

而且我知道我可以通过...获取完整页面源...

wd.page_source

但是有没有办法获取“元素源”？

elem.source   # <-- returns the HTML as a string

Python 的 Selenium WebDriver 文档基本上不存在，而且我在代码中没有看到任何似乎启用该功能的内容。

访问元素（及其子元素）的 HTML 的最佳方式是什么？

Answer 1

InnerHTML 将返回所选元素内的元素，outerHTML 将返回内部 HTML 以及您选择的元素

示例：

现在假设您的元素如下

<tr id="myRow"><td>A</td><td>B</td></tr>

innerHTML 元素输出

<td>A</td><td>B</td>

outerHTML 元素输出

<tr id="myRow"><td>A</td><td>B</td></tr>

实时示例：

http://www.java2s.com/Tutorials/JavascriptDemo/f/find_out_the_difference_ Between_innerhtml_and_outerhtml_in_javascript_example.htm

下面您将找到不同绑定所需的语法。根据需要将 innerHTML 更改为 outerHTML。

Python：

element.get_attribute('innerHTML')

Java：

elem.getAttribute("innerHTML");

如果您想要整个页面 HTML，请使用以下代码：

driver.getPageSource();

Answer 2

更新 2022 Selenium 检索 HTML

首先，下载 Selenium WebDriver 的 Python 绑定。

• 可以从 Selenium 包的 PyPI 页面执行此操作。
• 或者，可以使用 pip 安装 Selenium 包。 Python 3.6在标准库中提供了pip。

方法 1

读取 innerHTML 属性来获取元素内容的来源。 innerHTML 是 DOM 元素的一个属性，其值是开始标记和结束标记之间的 HTML。

例如，下面代码中的innerHTML 属性带有值“text”

<p>
a text
</p>

element.get_attribute('innerHTML')

方法2

读取outerHTML 以获取当前元素的源。 outerHTML 是一个元素属性，其值是开始和结束标记之间的 HTML 以及所选元素本身的 HTML。

例如，代码的 outerHTML 属性携带一个值，其中包含 div 和 span。

<div>
<span>Hello there!</span>
</div>

ele.get_atrribute("outerHTML")

Answer 3

我希望这可以帮助：
http://selenium.googlecode.com /svn/trunk/docs/api/java/org/openqa/selenium/WebElement.html

这里描述了Java方法：

java.lang.String    getText() 

但不幸的是它在Python中不可用。因此，您可以将方法名称从 Java 翻译为 Python，并使用现有方法尝试另一种逻辑，而无需获取整个页面源代码...

例如

 my_id = elem[0].get_attribute('my-id')

Answer 4

这对我来说是无缝的。

element.get_attribute('innerHTML')

Answer 5

我更喜欢的获取渲染 HTML 的方法如下：

driver.get("http://www.google.com")
body_html = driver.find_element_by_xpath("/html/body")
print body_html.text

但是，上述方法会删除所有标签（是的，还有嵌套标签）并仅返回文本内容。如果您也有兴趣获取 HTML 标记，请使用以下方法。

print body_html.getAttribute("innerHTML")

Answer 6

如果您对 Python 中的 Selenium Remote Control 解决方案感兴趣，请点击此处获取innerHTML的方法是：

innerHTML = sel.get_eval("window.document.getElementById('prodid').innerHTML")

Answer 7

使用execute_script get html

bs4(BeautifulSoup)也可以快速访问html标签。

from bs4 import BeautifulSoup
html = adriver.execute_script("return document.documentElement.outerHTML")
bs4_onepage_object=BeautifulSoup(html,"html.parser")
bs4_div_object=bs4_onepage_object.find_all("atag",class_="attribute")

Answer 8

在 PHP Selenium WebDriver 中，您可以像这样获取页面源：

$html = $driver->getPageSource();

或者获取元素的 HTML像这样：

// innerHTML if you need HTML of the element content
$html = $element->getDomProperty('outerHTML');

Answer 9

在当前版本的 php-webdriver (1.12.0+) 中，您必须

$element->getDomProperty('innerHTML');

按照本问题中指出的方式使用：https://github.com/php-webdriver/php-webdriver/issues/929

Answer 10

WebElement element = driver.findElement(By.id("foo"));
String contents = (String)((JavascriptExecutor)driver).executeScript("return arguments[0].innerHTML;", element); 

这段代码也确实可以从源代码获取 JavaScript！

Answer 11

在 PHPUnit Selenium 测试中，它是这样的：

$text = $this->byCssSelector('.some-class-nmae')->attribute('innerHTML');

Answer 12

您可以读取 innerHTML 属性来获取元素的内容来源，或获取当前元素的outerHTML来源。

Python：

element.get_attribute('innerHTML')

Java：

elem.getAttribute("innerHTML");

C#：

element.GetAttribute("innerHTML");

Ruby：

element.attribute("innerHTML")

JavaScript：

element.getAttribute('innerHTML');

PHP：

$element->getAttribute('innerHTML');

它已经过测试并可与 ChromeDriver 配合使用。

Answer 13

以下是如何使用 Selenium Python 获取 HTML 源代码：

elem = driver.find_element("xpath", "//*")
source_code = elem.get_attribute("outerHTML")

以下是如何将该 HTML 保存到文件中：

with open('c:/html_source_code.html', 'w') as f:
    f.write(source_code.encode('utf-8'))

Answer 14

实际上并没有一种直接的方法来获取 webelement 的 HTML 源代码。您必须使用 JavaScript。我不太确定 python 绑定，但你可以在 Java 中轻松做到这一点。我确信Python中一定有类似JavascriptExecutor类的东西。

 WebElement element = driver.findElement(By.id("foo"));
 String contents = (String)((JavascriptExecutor)driver).executeScript("return arguments[0].innerHTML;", element);

Answer 15

在 Ruby 中，使用 selenium-webdriver (2.32.1)，有一个包含整个页面源的 page_source 方法。

Answer 16

其他答案提供了有关检索 Web 元素。然而，一个重要的方面是，现代网站越来越多地实现 JavaScript、ReactJS, jQuery, Ajax、Vue.js、Ember.js，GWT等来渲染动态元素DOM 树。因此，在检索标记之前，有必要等待元素及其子元素完全呈现。

---

因此

，理想情况下，您需要引入 WebDriverWait< /a> 对于visibility_of_element_ located()，您可以使用以下任一定位器策略：

• 使用get_attribute("outerHTML ”）：

  element = WebDriverWait(driver, 20).until(EC.visibility_of_element_ located((By.CSS_SELECTOR, "#my-id")))
  print(element.get_attribute("outerHTML"))
  

• 使用execute_script()：

  element = WebDriverWait(driver, 20).until(EC.visibility_of_element_ located((By.CSS_SELECTOR, "#my-id")))
  print(driver.execute_script("返回参数[0].outerHTML;", element))
  

• 注意：您必须添加以下导入：

  从 selenium.webdriver.support.ui 导入 WebDriverWait
  从 selenium.webdriver.common.by 导入
  从 selenium.webdriver.support 导入预期条件作为 EC
  

Answer 17

它看起来已经过时了，但无论如何还是放在这里吧。在您的情况下执行此操作的正确方法：

elem = wd.find_element_by_css_selector('#my-id')
html = wd.execute_script("return arguments[0].innerHTML;", elem)

或

html = elem.get_attribute('innerHTML')

两者都为我工作（selenium-server-standalone-2.35.0）。

Answer 18

事实上，使用属性方法更容易、更直接。

将 Ruby 与 Selenium 和 PageObject gem 结合使用，要获取与某个元素关联的类，该行将是 element.attribute(Class)。

如果您想要将其他属性绑定到该元素，则同样的概念适用。例如，如果我想要一个元素的字符串，element.attribute(String)。

Answer 19

Java 与 Selenium 2.53.0

driver.getPageSource();