用Python爬虫？

Question

我想用python写一个爬虫。这意味着：我已经获得了一些网站主页的网址，并且我希望我的程序能够通过保留在该网站中的链接来爬行所有网站。我怎样才能轻松快速地做到这一点？我已经尝试过 BeautifulSoup，但它确实很耗 CPU，而且在我的电脑上速度很慢。

Answer 1

我建议将 mechanize 与 lxml.html 结合使用。正如罗伯特·金所建议的，机械化可能是浏览网站的最佳选择。为了提取元素，我会使用 lxml。 lxml 比 BeautifulSoup 快得多，并且可能是 python 可用的最快解析器。 此链接显示了不同 html 解析器的性能测试对于蟒蛇。就我个人而言，我会避免使用 scrapy 包装器。

我还没有测试过它，但这可能就是您正在寻找的，第一部分直接取自 mechanize 文档< /a>. lxml 文档也非常有帮助。特别是看看 this 和 此 部分。

import mechanize
import lxml.html

br = mechanize.Browser()
response = br.open("somewebsite")

for link in br.links():
    print link
    br.follow_link(link)  # takes EITHER Link instance OR keyword args
    print br
    br.back()

# you can also display the links with lxml
html = response.read()
root = lxml.html.fromstring(html)
for link in root.iterlinks():
    print link

您还可以通过 root.xpath() 获取元素。一个简单的 wget 甚至可能是最简单的解决方案。

希望我能有所帮助。

Answer 2

我喜欢使用机械化。它相当简单，您下载它并创建一个浏览器对象。使用此对象您可以打开 URL。您可以像在普通浏览器中一样使用“后退”和“前进”功能。您可以遍历页面上的表单并根据需要填写它们。
您也可以遍历页面上的所有链接。每个链接对象都有您可以单击的 url 等。

这是一个例子：
下载所有链接（相关文档）在使用 Python 的网页上

Answer 3

以下是使用 eventlet 的非常快速（并发）递归网络抓取工具的示例 。它只打印找到的网址，但您可以对其进行修改以执行您想要的操作。也许您想使用 lxml （快速）、pyquery （较慢但仍然很快）或 BeautifulSoup （慢）来解析 html 以获取您想要的数据。

Answer 4

看看 scrapy （和 相关问题）。至于性能......在没有看到代码的情况下很难提出任何有用的建议。