如何使用 Python 和 Mechanize 抓取网站

Question

如何使用 Mechanize 和 Python 来抓取网站，递归地跟踪每个页面上的每个链接？

我在教程和 Mechanize 文档中看到的每个示例都展示了如何遵循浏览“路径”（如果我可以这样称呼它）（例如，转到主页、填充表单、按提交、对响应执行某些操作），而不是抓取整个网站。

Answer 1

这里有一些伪代码可以帮助您入门，如果您需要更多，请告诉我：

br = make browser object
visited=set()
max_depth=10
def crawl_all_links(browser,depth):
    if depth <= max_depth:
        for link in browser.links():
            if link not in visited:
                visited.add(link)
                browser.open(link)
                do_something(browser.read())
                crawl_all_links(browser,depth+1)
                browser.back()

crawl_all_links(browser,0)