从网络上抓取 URL

Question

<a href="http://www.utoronto.ca/gdrs/" title="Rehabilitation Science"> Rehabilitation Science</a>

对于上面的例子，我想同时获取部门名称“康复科学”及其主页网址“http://www.utoronto.ca/gdrs/”。

有人可以建议一些可以为我完成这项工作的智能正则表达式吗？

Answer 1

根本没有理由使用正则表达式来执行此操作。这里有一个使用 Nokogiri 的解决方案，它是常见的 Ruby HTML/XML 解析器：

html = <<EOT
<p><a href="http://www.example.com/foo">foo</a></p>
<p><a href='http://www.example.com/foo1'>foo1</p></a>
<p><a href=http://www.example.com/foo2>foo2</a></p>
<p><a href = http://www.example.com/bar>bar</p>
<p><a 
  href="http://www.example.com/foobar"
  >foobar</a></p>
  <p><a 
    href="http://www.example.com/foobar2"
    >foobar2</p>
EOT

require 'nokogiri'

doc = Nokogiri::HTML(html)

links = Hash[
  *doc.search('a').map { |a| 
      [
        a['href'],
        a.content
      ]
    }.flatten
  ]

require 'pp'
pp links
# >> {"http://www.example.com/foo"=>"foo",
# >>  "http://www.example.com/foo1"=>"foo1",
# >>  "http://www.example.com/foo2"=>"foo2",
# >>  "http://www.example.com/bar"=>"bar",
# >>  "http://www.example.com/foobar"=>"foobar",
# >>  "http://www.example.com/foobar2"=>"foobar2"}

这会返回 URL 的哈希值作为键，并带有相关的 标记的内容作为值。这意味着您将只捕获唯一的 URL，并丢弃重复的 URL。如果您希望所有 URL 使用：

links = doc.search('a').map { |a| 
    [
      a['href'],
      a.content
    ]
  }

这会导致：

# >> [["http://www.example.com/foo", "foo"],
# >>  ["http://www.example.com/foo1", "foo1"],
# >>  ["http://www.example.com/foo2", "foo2"],
# >>  ["http://www.example.com/bar", "bar"],
# >>  ["http://www.example.com/foobar", "foobar"],
# >>  ["http://www.example.com/foobar2", "foobar2"]]

我使用 CSS 访问器 'a' 来定位标签。如果我只想抓取链接，忽略锚点，我可以使用 'a[href]' 。

正则表达式在处理 HTML 和 XML 时非常脆弱，因为标记格式过于自由；它们的格式可能会有所不同，但仍保持有效，尤其是 HTML，其“正确性”可能会有很大差异。如果您不拥有正在解析的文件的生成，那么您的代码将受到使用正则表达式时生成它的人的支配；文件中的简单更改可能会严重破坏模式，从而导致持续的维护麻烦。

解析器因为实际上了解文件的内部结构，所以可以承受这些更改。请注意，我故意创建了一些格式错误的 HTML，但代码并不关心。比较解析器版本与正则表达式解决方案的简单性，并考虑长期可维护性。

Answer 2

我建议使用像 @mrk 建议的 HTML 解析器。然后获取返回的结果并将其通过正则表达式搜索器。我喜欢用红宝石。这将向您显示正则表达式正在捕获的内容，并且您可以避免得到不需要的结果。我发现在这种情况下使用正则表达式 /http[^"]+/ 会起作用，因为即使没有“www.”，它也会抓取整个 url，并且您可以避免捕获引号。

Answer 3

如果您正在构建蜘蛛，那么 Ruby 的 Mechanize 是一个不错的选择。要获取页面并提取链接：

require 'rubygems'
require 'mechanize'

agent = Mechanize.new
page = agent.get "http://google.com/"

page.links.each do |link|
  puts link.href
  puts link.text
end

文档和指南（我链接到的）列出了您可能想要做的很多事情。使用正则表达式来解析 HTML（或 XML）是出了名的棘手且容易出错。使用完整的解析器（正如其他人所建议的那样）将节省您的精力并使您的代码更加健壮。

Answer 4

尽量不要把这件事做得过于复杂：

#<a .*?href="([^"]*)".*>([^<]+)</a>#i

Answer 5

这是我的 Ruby 方法：

require 'open-uri'

class HTMLScraper
    def initialize(page)
      @src = page
      open(@src) do |x|
          @html = x.read
      end
    end
    def parseLinks
      links = @html.scan(/<a\s+href\s*=\s*"([^"]+)"[^>]*>\s*([^<]+)\s*<\/a>/ui)
      puts "Link(s) Found:"
      i = 0
      while i < links.length
        puts "\t#{links[i]}"
        i += 1
      end
    end
  end

url = "http://stackoverflow.com/questions"
test = HTMLScraper.new(url)
test.parseLinks

这将为您提供一个数组数组，其中每个（内部）数组的第一项是 url，第二项是标题。希望这对您有所帮助，并注意正则表达式上的 u 开关，这是为了避免编码问题。