如何查找“”中的href元素值用红宝石标记

Question

我的目标是找到谷歌搜索结果中的第一个结果并收集站点链接，所以我构建了这个脚本：

require 'hpricot'
require 'open-uri'
require 'mechanize'
query = gets.chomp
agent = Mechanize.new
page = agent.get("http://www.google.co.il/")
search_form = page.form_with(:name => "f")
search_form.field_with(:name => "q").value = query.to_s
search_results = agent.submit(search_form)
search_results = search_results.body
doc = Hpricot(search_results)
site = doc.search("a")[16,1]
url = site.to_s
puts url

我得到一个像这样的字符串：

url = <a href="http://en.wikipedia.org/wiki/Gallon" dir="ltr" class="l"><em>Gallon</em> - Wikipedia, the free encyclopedia</a>

但我只需要链接（http://en.wikipedia.org/wiki/加仑）不是所有的 html 代码... 我该怎么做呢？我正在使用宝石：

require 'hpricot'
require 'open-uri'
require 'mechanize'

Answer 1

您可以像这样获取属性值

(doc/"a")[16].attributes['href']

，但我不得不说 幻数 16 似乎很脆弱。

您也不应该抓取搜索结果，您应该考虑使用自定义搜索 API 。

Answer 2

由于 mechanize 包含 nokogiri，您可以应该完全跳过 hpricot。它会不必要地减慢你的代码速度。你实际上是在做同样的事情两次。

require 'mechanize'
query = gets.chomp
agent = Mechanize.new
page = agent.get("http://www.google.co.il/")
search_form = page.form_with(:name => "f")
search_form.field_with(:name => "q").value = query.to_s
search_results = agent.submit(search_form)

puts search_results.links[16].href

Answer 3

不要使用 url = site.to_s 转换为字符串，而是 url = site[0].attributes['href']

Answer 4

尝试使用：

site = doc.search("a[@href]")[16,1]

Answer 5

Waitir 是检查网页布局的合理选择。

require 'rubygems'
require 'watir'

#Launching browser windows and navigating to google
browser = Watir::Browser.new
browser.goto("http://www.google.co.il/")

#Logging to console if a link with href = http://en.wikipedia.org/wiki/Gallon present
puts browser.link(:href, "http://en.wikipedia.org/wiki/Gallon").exists?

Answer 6

由于输入始终遵循相同的格式，因此您可以这样做：

url.split("href=\"").last.split("\"").first