anemone 忽略包含特定短语的 url 链接

Question

我正在 ruby​​ 上运行带有 anemone 的网络抓取工具，当服务器访问需要登录的页面时，我给服务器带来了一些问题。

这些页面的网址中都有一个短语，例如“帐户”，我希望程序完全忽略并且不转到包含该字符串的目的地的任何链接。

我该怎么做？

Answer 1

Anemone 有一个 skip_links_like 方法：

skip_links_like(*patterns)
为不应遵循的 URL 添加一个或多个正则表达式模式

因此添加类似的内容

skip_links_like /\/account\//

应该可以解决它：

Anemone.crawl("somesite.co.uk", :depth_limit => 1) do |anemone|
    anemone.skip_links_like /\/account\//
    #...
end