通过 nokogiri 或 hpricot 进行屏幕抓取

Question

我正在尝试获取给定 xpath 的实际值。我在sample.rb 文件中有以下代码

require 'rubygems'
require 'nokogiri'
require 'open-uri'
doc = Nokogiri::HTML(open('http://www.changebadtogood.com/'))
desc "Trying to get the value of given xapth"
task :sample do
  begin
    doc.xpath('//*[@id="view_more"]').each do |link|
      puts link.content
    end
  rescue Exception => e
    puts "error" 
  end
end

输出是：

查看更多问题..

当我尝试获取其他不同 XPath 的值时，例如：
/html/body/div[4]/div[3]/h1/span 然后我收到“错误”消息。

我在Nokogiri尝试过这个。我不知道为什么这只为少数 XPath 提供结果。

我在 Hpricot 中尝试了同样的操作。
http://hpricot.com/demonstrations

我粘贴了我的 url 和 XPath，然后看到了
的结果 //*[@id="view_more"]
作为
查看更多问题..
[此文本出现在最近问题标题的底部]

但它没有显示以下结果：
/html/body/div[4]/div[3]/h1/span 对于这个 XPath，我期待结果 Bad。
[这出现在 http://www.changebadtogood.com/ 作为 class="hero-unit" div 的第一个标头。 ]

Answer 1

您的问题与糟糕的 XPath 选择器有关，与 Nokogiri 或 Hpricot 无关。让我们研究一下：

irb:01:0> require 'nokogiri'; require 'open-uri'
#=> true
irb:02:0> doc = Nokogiri::HTML(open('http://www.changebadtogood.com/')); nil
#=> nil
irb:03:0> doc.xpath('//*[@id="view_more"]').each{ |link| puts link.content }
View more issues ..
#=> 0
irb:04:0> doc.at('#view_more').text  # Simpler version of the above.
#=> "View more issues .."
irb:05:0> doc.xpath('/html/body/div[4]/div[3]/h1/span')
#=> []
irb:06:0> doc.xpath('/html/body/div[4]')
#=> []
irb:07:0> doc.xpath('/html/body/div').length
#=> 2

从中我们可以看到，只有两个 div 是 元素的子元素，因此 div[4] 无法选择一个。

看来您正在尝试在此处选择跨度：

<h1 class="landing_page_title">
  Change <span style='color: #808080;'>Bad</span> To Good
</h1>

不要依赖导致此情况的脆弱标记（索引元素的匿名层次结构），而是使用文档的语义结构来获得更简单且更方便的选择器更坚固。使用 CSS 或 XPath 语法：

irb:08:0> doc.at('h1.landing_page_title > span').text
#=> "Bad"
irb:09:0> doc.at_xpath('//h1[@class="landing_page_title"]/span').text
#=> "Bad"