html 文本中链接的正则表达式

Question

我希望这个问题不是 RTFM 问题。 我正在尝试编写一个从标准 HTML 网页（ 标签）中提取链接的 Python 脚本。 我在网上搜索了匹配的正则表达式，发现了许多不同的模式。 是否有任何商定的标准正则表达式来匹配链接？

亚当

更新： 我实际上正在寻找两个不同的答案：

1. 解析 HTML 链接的库解决方案是什么。 Beautiful Soup 似乎是一个很好的解决方案（谢谢，Igal Serban 和 cletus！）
2. 可以使用正则表达式定义链接​​吗？

Answer 1

HTML 的正则表达式变得混乱。 只需使用像 Beautiful Soup 这样的 DOM 解析器即可。

Answer 2

正如其他人所建议的，如果不需要类似实时的性能，BeautifulSoup 是一个很好的解决方案：

import urllib2
from BeautifulSoup import BeautifulSoup

html = urllib2.urlopen("http://www.google.com").read()
soup = BeautifulSoup(html)
all_links = soup.findAll("a")

至于第二个问题，是的，HTML 链接应该是明确定义的，但是您实际遇到的 HTML 不太可能标准。 BeautifulSoup 的美妙之处在于它使用类似浏览器的启发式方法来尝试解析您可能实际遇到的非标准、格式错误的 HTML。

如果您确定要使用标准 XHTML，则可以使用（快得多）的 XML 解析器，例如 expat。

由于上述原因（解析器必须维护状态，而正则表达式不能做到这一点），正则表达式永远不会成为通用解决方案。

Answer 3

不，没有。

您可以考虑使用Beautiful Soup。 你可以称其为解析html文件的标准。

Answer 4

链接不应该是一个明确定义的正则表达式吗？

不，[X]HTML 在一般情况下不能用正则表达式解析。 考虑这样的例子：

<link title='hello">world' href="x">link</link>
<!-- <link href="x">not a link</link> -->
<![CDATA[ ><link href="x">not a link</link> ]]>
<script>document.write('<link href="x">not a link</link>')</script>

这只是一些随机的有效例子； 如果您必须处理现实世界的标签汤 HTML，则存在一百万种格式错误的可能性。

如果您知道并且可以依赖目标页面的确切输出格式，则可以使用正则表达式。 否则抓取网页就完全是错误的选择。

Answer 5

链接不应该是一个明确定义的正则表达式吗？ 这是一个相当理论化的问题，

我赞同PEZ的回答：

我认为 HTML 不适合“定义良好”的正则表达式，因为它不是一种正则语言。

据我所知，任何 HTML 标签都可以包含任意数量的嵌套标签。 例如：

<a href="http://stackoverflow.com">stackoverflow</a>
<a href="http://stackoverflow.com"><i>stackoverflow</i></a>
<a href="http://stackoverflow.com"><b><i>stackoverflow</i></b></a>
...

因此，原则上，要正确匹配标签，您必须至少能够匹配以下形式的字符串：

BE
BBEE
BBBEEE
...
BBBBBBBBBBEEEEEEEEEE
...

其中 B 表示标签的开头，E 表示标签的结尾。 也就是说，您必须能够匹配由任意数量的 B 后跟相同数量的 E 组成的字符串。 为此，您的匹配器必须能够“计数”，而正则表达式（即有限状态自动机）根本无法做到这一点（为了计数，自动机至少需要一个堆栈）。 参考PEZ的回答，HTML是上下文无关语法，而不是常规语言。

Answer 6

这在一定程度上取决于 HTML 的生成方式。 如果它受到一定程度的控制，你可以逃脱：

re.findall(r'''<link\s+.*?href=['"](.*?)['"].*?(?:</link|/)>''', html, re.I)

Answer 7

在那里回答你的两个子问题。

1. 我有时会子类化 SGMLParser（包含在核心 Python 发行版中）并且必须说它很简单。
2. 我不认为 HTML 适合“定义良好”的正则表达式，因为它不是一种正则语言。

Answer 8

对于问题#2（链接不应该是定义明确的正则表达式），答案是……不。

HTML 链接结构是一种递归结构，很像编程语言中的括号和大括号。 必须有相同数量的开始和结束结构，并且“链接”表达式可以嵌套在其自身内。

为了正确匹配“链接”表达式，需要正则表达式来计算开始和结束标签的数量。 正则表达式是一类有限自动机。 根据定义，有限自动机无法“计算”模式内的构造。 需要语法来描述这样的递归数据结构。 正则表达式无法“计数”，这就是为什么您会看到用语法而不是正则表达式描述的编程语言。

因此不可能创建一个 100% 积极匹配所有“链接”表达式的正则表达式。 当然，有些正则表达式可以高精度地匹配大量“链接”，但它们永远不会完美。

我最近写了一篇关于这个问题的博客文章。 正则表达式限制