lxml.etree、element.text 不返回元素的整个文本

Question

我通过 xpath 废弃了一些 html，然后将其转换为 etree。与此类似：

<td> text1 <a> link </a> text2 </td>

但是当我调用 element.text 时，我只得到 text1 （它必须在那里，当我在 FireBug 中检查查询时，元素的文本会突出显示，包括嵌入锚元素之前和之后的文本。 ..

Answer 1

使用 element.xpath("string()") 或 lxml.etree.tostring(element, method="text") - 请参阅 文档。

Answer 2

作为一项公共服务，为那些可能像我一样懒惰的人提供服务。这是上面的一些代码，您可以运行。

from lxml import etree

def get_text1(node):
    result = node.text or ""
    for child in node:
        if child.tail is not None:
            result += child.tail
    return result

def get_text2(node):
    return ((node.text or '') +
            ''.join(map(get_text2, node)) +
            (node.tail or ''))

def get_text3(node):
    return (node.text or "") + "".join(
        [etree.tostring(child) for child in node.iterchildren()])


root = etree.fromstring(u"<td> text1 <a> link </a> text2 </td>")

print root.xpath("text()")
print get_text1(root)
print get_text2(root)
print root.xpath("string()")
print etree.tostring(root, method = "text")
print etree.tostring(root, method = "xml")
print get_text3(root)

输出是：

snowy:rpg$ python test.py 
[' text1 ', ' text2 ']
 text1  text2 
 text1  link  text2 
 text1  link  text2 
 text1  link  text2 
<td> text1 <a> link </a> text2 </td>
 text1 <a> link </a> text2 

Answer 3

对我来说看起来像是一个 lxml bug，但如果您阅读文档，则根据设计。我已经这样解决了：

def node_text(node):
    if node.text:
        result = node.text
    else:
        result = ''
    for child in node:
        if child.tail is not None:
            result += child.tail
    return result

Answer 4

另一件似乎可以很好地从元素中获取文本的方法是 "".join(element.itertext())

Answer 5

<td> text1 <a> link </a> text2 </td>

它是这样的（忽略空格）：

td.text == 'text1'
a.text == 'link'
a.tail == 'text2'

如果您不想要子元素内部的文本，那么您可以只收集它们的尾部：

text = td.text + ''.join([el.tail for el in td])

Answer 6

def get_text_recursive(node):
    return (node.text or '') + ''.join(map(get_text_recursive, node)) + (node.tail or '')

Answer 7

如果 element 等于 。您可以执行以下操作。

element.xpath('.//text()')

它将为您提供来自 self 的所有文本元素的列表（点的含义）。 // 表示它将获取所有元素，最后 text() 是提取文本的函数。

Answer 8

element.xpath('normalize-space()') also works.