BeautifulSoup 内部html？

Question

假设我有一个带有 div 的页面。我可以使用soup.find()轻松获取该div。

现在我有了结果，我想打印该 div 的整个 innerhtml：我的意思是，我需要一个包含所有 html 标签和文本的字符串总而言之，就像我在 javascript 中使用 obj.innerHTML 得到的字符串一样。这可能吗？

Answer 1

TL;DR

在 BeautifulSoup 4 中，如果您想要 UTF-8 编码的字节字符串，请使用 element.encode_contents() ；如果您想要 Python Unicode 字符串，请使用 element.decode_contents() 。例如，DOM 的 innerHTML 方法 可能如下所示：

def innerHTML(element):
    """Returns the inner HTML of an element as a UTF-8 encoded bytestring"""
    return element.encode_contents()

---

这些函数当前不在在线文档，因此我将引用当前函数定义和代码中的文档字符串。

encode_contents - 自 4.0.4 起

def encode_contents(
    self, indent_level=None, encoding=DEFAULT_OUTPUT_ENCODING,
    formatter="minimal"):
    """Renders the contents of this tag as a bytestring.

    :param indent_level: Each line of the rendering will be
       indented this many spaces.

    :param encoding: The bytestring will be in this encoding.

    :param formatter: The output formatter responsible for converting
       entities to Unicode characters.
    """

另请参阅 有关格式化程序的文档；您很可能会使用 formatter="minimal" （默认值）或 formatter="html" （对于 html 实体），除非您想以某种方式手动处理文本。

encode_contents 返回编码的字节串。如果您想要 Python Unicode 字符串，请使用 decode_contents 代替。

---

decode_contents - 从 4.0.1 开始

decode_contents 与 encode_contents 执行相同的操作，但返回 Python Unicode 字符串而不是编码的字节字符串。

def decode_contents(self, indent_level=None,
                   eventual_encoding=DEFAULT_OUTPUT_ENCODING,
                   formatter="minimal"):
    """Renders the contents of this tag as a Unicode string.

    :param indent_level: Each line of the rendering will be
       indented this many spaces.

    :param eventual_encoding: The tag is destined to be
       encoded into this encoding. This method is _not_
       responsible for performing that encoding. This information
       is passed in so that it can be substituted in if the
       document contains a <META> tag that mentions the document's
       encoding.

    :param formatter: The output formatter responsible for converting
       entities to Unicode characters.
    """

---

BeautifulSoup 3

BeautifulSoup 3 没有上述功能，而是有 renderContents

def renderContents(self, encoding=DEFAULT_OUTPUT_ENCODING,
                   prettyPrint=False, indentLevel=0):
    """Renders the contents of this tag as a string in the given
    encoding. If encoding is None, returns a Unicode string.."""

这个功能被添加回 BeautifulSoup 4 (4.0.4 中）以实现兼容性与 BS3。

Answer 2

给定一个像

foobar

这样的 BS4 soup 元素，这里有一些不同的方法和可用于以不同方式检索其 HTML 和文本的属性以及它们将返回的内容的示例。

---

InnerHTML：

inner_html = element.encode_contents()

'<div id="inner">foobar</div>'

OuterHTML：

outer_html = str(element)

'<div id="outer"><div id="inner">foobar</div></div>'

OuterHTML（美化）：

pretty_outer_html = element.prettify()

'''<div id="outer">
 <div id="inner">
  foobar
 </div>
</div>'''

仅文本（使用 .text）：

element_text = element.text

'foobar'

仅文本（使用.string）：

element_string = element.string

'foobar'

Answer 3

其中一个选项可以使用类似的东西：

 innerhtml = "".join([str(x) for x in div_element.contents]) 

Answer 4

str(element) 帮助您获取 outerHTML，然后从外部 html 字符串中删除外部标签。

Answer 5

只使用 unicode(x) 怎么样？似乎对我有用。

编辑：这将为您提供外部 HTML，而不是内部 HTML。

Answer 6

最简单的方法是使用 Children 属性。

inner_html = soup.find('body').children

它将返回一个列表。因此，您可以使用简单的 for 循环获得完整的代码。

for html in inner_html:
    print(html)

Answer 7

如果我没有误解的话，你的意思是对于这样的例子：

<div class="test">
    text in body
    <p>Hello World!</p>
</div>

输出应该是这样的：

text in body
    <p>Hello World!</p>

所以这是你的答案：

''.join(map(str,tag.contents))

Answer 8

对于纯文本，Beautiful Soup 4 get_text()

如果您只需要文档或标签内的人类可读文本，则可以使用 get_text() 方法。它返回文档中或标签下的所有文本，作为单个 Unicode 字符串：

markup = '<a href="http://example.com/">\nI linked to <i>example.com</i>\n</a>'
soup = BeautifulSoup(markup, 'html.parser')

soup.get_text()
'\nI linked to example.com\n'
soup.i.get_text()
'example.com' 

您可以指定用于将文本位连接在一起的字符串：

soup.get_text("|")
'\nI linked to |example.com|\n' 

您可以告诉 Beautiful Soup 从每个文本的开头和结尾去除空格一些文本：

soup.get_text("|", strip=True)
'I linked to|example.com' 

但此时您可能想使用 .stripped_strings 生成器，并自己处理文本：

[text for text in soup.stripped_strings]
# ['I linked to', 'example.com'] 

从 Beautiful Soup 版本 4.9.0 开始，当 lxml或者html.parser 正在使用，

请参阅此处： https://www.crummy.com/software/ BeautifulSoup/bs4/doc/#get-text