Python，XPath：查找所有图像链接

Question

我在 Python 中使用 lxml 来解析一些 HTML，我想提取所有图像链接。我现在的做法是：

//a[contains(@href,'.jpg') or contains(@href,'.jpeg') or ... (etc)]

这种方法有几个问题：

• 您必须列出所有情况下所有可能的图像扩展名（“jpg”和“JPG”），这
• 在奇怪的情况下并不优雅， href 可能包含 .jpg 在中间的某个地方，而不是在字符串的末尾

我想使用正则表达式，但我失败了：

//a[regx:match(@href,'.*\.(?:png|jpg|jpeg)')]

这总是给我返回所有链接...

有谁知道正确、优雅的方法来做到这一点或者我的正则表达式方法有什么问题？

Answer 1

代替：

a[contains(@href,'.jpg')]

使用：（

a[substring(@href, string-length(@href)-3)='.jpg']

对于其他可能的结尾也使用相同的表达模式）。

上面的表达式是相当于以下 XPath 2.0 表达式的 XPath 1.0：

a[ends-with(@href, '.jpg')]

Answer 2

使用 XPath 返回所有 元素，并使用 Python 列表理解来过滤到与您的正则表达式匹配的元素。

Answer 3

lxml 支持 EXSLT 命名空间中的正则表达式：

from lxml import html

# download & parse web page
doc = html.parse('http://apod.nasa.gov/apod/astropix.html')

# find the first <a href that ends with .png or .jpg or .jpeg ignoring case
ns = {'re': "http://exslt.org/regular-expressions"}
img_url = doc.xpath(r"//a[re:test(@href, '\.(?:png|jpg|jpeg)', 'i')]/@href",
                    namespaces=ns, smart_strings=False)[0]
print(img_url)

Answer 4

因为无法保证链接根本具有文件扩展名，或者文件扩展名甚至无法与内容（例如，返回错误 HTML 的 .jpg URL）匹配，从而限制了您的选择。

从站点收集所有图像的唯一正确方法是获取每个链接并使用 HTTP HEAD 请求对其进行查询，以找出服务器为其发送的内容类型。如果内容类型是图像/（任何内容），则它是图像，否则不是图像。

不过，抓取常见文件扩展名的 URL 可能会获取 99.9% 的图像。它并不优雅，但大多数 HTML 也不优雅。在这种情况下，我建议您乐意接受 99.9%。多出来的0.1%是不值得的。

Answer 5

使用：

//a[@href[contains('|png|jpg|jpeg|',
                   concat('|',
                          substring-after(substring(.,string-legth()-4),'.'),
                          '|')]]