如何在Python中通过匹配字符串提取父html标签

Question

我需要通过匹配html中的字符串来提取html中的父标签。 （IE） 我有很多原始的 html 资源。每个源都包含文本值“VIN：*”**以及一些字符。此文本值 (VIN:*) 在每个源中以各种格式放置，例如“

” 、“
”等。

然后我需要提取所有值以及“VIN:*”字符串。这意味着我需要获取其父标签。

例如，

<div class="class1">

                            Stock Number:
                            Z2079
                            <br>
                            **VIN:
                            2T2HK31UX9C110701**
                            <br>
                            Model Code:
                            9424
                            <img class="imgcert" src="/images/Lexus_cpo.jpg">
</div>

这里我有 html 源的“VIN”。与此类似，我也有不同格式的其他 html 源的 VIN。

这些值必须在 Python 中提取。

有没有办法通过匹配Python中的字符串来提取父标签也有效？

Answer 1

我强烈建议使用BeautifulSoup；它提供了一些非常方便的 HTML 解析功能。例如，在这两种情况下，我将如何查找包含“VIN”的每个文本节点：

soup = your_html_here
vins = soup.findAll(text = lambda(x): x.lower.index('vin') != -1)

从那里，您只需遍历该集合，获取每个节点的父节点，获取所述父节点的内容，然后按照您所看到的方式解析它们合身：

for v in vins:
    parent_html = v.parent.contents
    # more code here

Answer 2

对于如此简单的任务，即分析字符串，而不是解析它（解析 = 构建文本的树表示），您可以执行以下操作：

文本

ss = '''
Humpty Dumpty sat on a wall
<div class="class1">
    Stock Number:
    Z2079
    <br>
        **VIN:
        2T2HK31UX9C110701**
    <br>
    Model Code:
    9424
    <img class="imgcert" src="/images/Lexus_cpo.jpg">
</div>

Humpty Dumpty had a great fall
<ul cat="zoo">
    Stock Number:
    ARDEN3125
    <br>
        **VIN:
        SHAKAMOSK-230478-UBUN**
    </br>
    Model Code:
    101
    <img class="imgcert" src="/images/Magana_cpo.jpg">
</ul>

All the king's horses and all the king's men
<artifice>
    <baradino>
        Stock Number:
        DERT5178
        <br>
            **VIN:
            Pandaia-67-Moro**
        <br>
        Model Code:
        1234
        <img class="imgcert" src="/images/Pertuis_cpo.jpg">
    </baradino>
    what what what who what
    <somerset who="maugham">
        Nothing to declare
    </somerset>
</artifice>

Couldn't put Humpty Dumpty again
<ending rtf="simi">
    Stock Number:
    ZZZ789
    <br>
        **VIN:
        0000012554-ENDENDEND**
    <br>
    Model Code:
    QS78-9
    <img class="imgcert" src="/images/Sunny_cpo.jpg">
</ending>

qsdjgqsjkdhfqjkdhgfjkqshgdfkjqsdjfkh''' 

代码：

import re

regx = re.compile('<([^ >]+) ?([^>]*)>'
                  '(?!.+?<(?!br>)[^ >]+>.+?<br>.+?</\\1>)'
                  '.*?\*\*VIN:(.+?)\*\*.+?</\\1>',
                  re.DOTALL)

li = [ (mat.group(1),mat.group(2),mat.group(3).strip(' \n\r\t'))
       for mat in regx.finditer(ss) ]

for el in li:
    print '(%-15r, %-25r, %-25r)' % el

结果

('div'          , 'class="class1"'         , '2T2HK31UX9C110701'      )
('ul'           , 'cat="zoo"'              , 'SHAKAMOSK-230478-UBUN'  )
('baradino'     , ''                       , 'Pandaia-67-Moro'        )
('ending'       , 'rtf="simi"'             , '0000012554-ENDENDEND'   )

re.DOTALL 是有必要赋予点符号匹配换行符的能力（默认情况下，正则表达式模式中的点匹配除换行符之外的每个字符）

\\1 是在这个位置指定的方法被检查的字符串，字符串中必须有与第一组捕获的相同部分，即 ([^ >]+)

'(?!.+?<( ?!br>)[^ >]+>.+?
.+?)' 是禁止在其他标签中查找的部分比
在 HTML 元素的开始标记和结束标记之间遇到的第一个标记
之前。
这部分是捕获 VIM 之前最接近的前面标签所必需的

如果这部分不存在，则正则表达式

regx = re.compile('<([^ >]+) ?([^>]*)>'
                  '.*?\*\*VIN:(.+?)\*\*.+?</\\1>',
                  re.DOTALL)

会捕获以下结果：

('div'          , 'class="class1"'         , '2T2HK31UX9C110701'      )
('ul'           , 'cat="zoo"'              , 'SHAKAMOSK-230478-UBUN'  )
('artifice'     , ''                       , 'Pandaia-67-Moro'        )
('ending'       , 'rtf="simi"'             , '0000012554-ENDENDEND'   )

差异是“artifice”而不是“baradino”

Answer 3

对于不使用任何 xml/html 解析器的纯字符串版本，您可以尝试正则表达式（re）：

import re

html_doc = """ <div ...VIN ...  /div>"""

results = re.findall('<(.+>).*VIN.*+</\1', html_doc)