使用 Lxml 解析 HTML

Question

我需要帮助使用 lxml 解析页面中的一些文本。我尝试了 beautifulsoup，但我正在解析的页面的 html 太糟糕了，它无法工作。所以我已经转向 lxml，但文档有点令人困惑，我希望这里有人可以帮助我。

这里是我试图解析的页面，我需要获取“附加信息”部分下的文本。请注意，我在这个网站上有很多这样的页面需要解析，并且每个页面的 html 并不总是完全相同（可能包含一些额外的空“td”标签）。任何有关如何获取该文本的建议将不胜感激。

感谢您的帮助。

Answer 1

import lxml.html as lh
import urllib2

def text_tail(node):
    yield node.text
    yield node.tail

url='http://bit.ly/bf1T12'
doc=lh.parse(urllib2.urlopen(url))
for elt in doc.iter('td'):
    text=elt.text_content()
    if text.startswith('Additional  Info'):
        blurb=[text for node in elt.itersiblings('td')
               for subnode in node.iter()
               for text in text_tail(subnode) if text and text!=u'\xa0']
        break
print('\n'.join(blurb))

产量

65 年来，卡尔·斯特恩 (Carl Stirn) 的海军陆战队
一直在设定新的标准
卓越的划船服务
享受。因为我们提供品质
商品、关怀、认真、
销售和服务，我们已经能够
让我们的客户对我们有利
朋友们。

我们的设施占地 26,000 平方英尺，包括
完整的零件和配件
部门, 全方位服务部门
（Merc. Premier 经销商，拥有 2 名全职
Mercruiser Master Tech 的），以及新的，
二手货和经纪销售。

编辑：这是基于 Steven D. Majewski 的 xpath 的替代解决方案，它解决了 OP 的评论，即分隔“附加信息”与简介的标签数量可能未知：

import lxml.html as lh
import urllib2

url='http://bit.ly/bf1T12'
doc=lh.parse(urllib2.urlopen(url))

blurb=doc.xpath('//td[child::*[text()="Additional  Info"]]/following-sibling::td/text()')

blurb=[text for text in blurb if text != u'\xa0']
print('\n'.join(blurb))