如何编写 python 脚本来搜索网站 html 中的匹配链接

Question

我对 python 不太熟悉，必须编写一个脚本来执行许多功能。 基本上我仍然需要的模块是如何检查网站代码以匹配预先提供的链接。

Answer 1

匹配链接是什么？他们的 HREF 属性？链接显示文字？
也许是这样的：

from BeautifulSoup import BeautifulSoup, SoupStrainer
import re
import urllib2

doc = urllib2.urlopen("http://somesite.com").read()
links = SoupStrainer('a', href=re.compile(r'^test'))
soup = [str(elm) for elm in BeautifulSoup(doc, parseOnlyThese=links)]
for elm in soup:
    print elm

这将获取 somesite.com 的 HTML 内容，然后使用 BeautifulSoup 解析它，仅查找 HREF 属性以“test”开头的链接。然后它会构建这些链接的列表并将其打印出来。

您可以使用文档对其进行修改以执行任何操作。

Answer 2

通常，您使用 urllib，urllib2（htmllib 等）用于在 Python 中进行 Web 编程。您还可以使用mechanize，curl 等。然后，为了处理 HTML 并获取链接，您需要使用像 BeautifulSoup。

Answer 3

尝试 scrapy，最全面的网页提取框架。

http://scrapy.org