使用正则表达式搜索 Hpricot

Question

我正在尝试使用 Hpricot 获取具有我不知道的类名的跨度内的值。我知道它遵循模式“foo_[几个数字]_bar”。

现在，我将整个包含元素作为字符串获取，并使用正则表达式来解析标签的字符串。该解决方案有效，但看起来真的很难看。

doc = Hpricot(open("http://scrape.example.com/search?q=#{ticker_symbol}"))
elements = doc.search("//span[@class='pr']").inner_html
string = ""
elements.each do |attr|
  if(attr =~ /foo_\d+_bar/)
    string = attr
  end
end
# get rid of the span tags, just get the value
string.sub!(/<\/span>/, "")
string.sub!(/<span.+>/, "")

return string

似乎应该有更好的方法来做到这一点。我想做类似的事情：

elements = doc.search("//span[@class='" + /foo_\d+_bar/ + "']").inner_html

但这行不通。有没有办法用正则表达式进行搜索？

Answer 1

这应该可以：

doc.search("span[@class^='foo'][@class$='bar']")

除此之外，我们还可以提供更多示例来说明其他类似表达式的工作原理：

对于如下所示的文档：

我们得到每个查询的输出如下：

doc.search("//meta[@content='abcxy def ghi jklmn']")
=> #<Hpricot::Elements[{emptyelem <meta content="abcxy def ghi jklmn">}]>

这是我们所期望的。

doc.search("//meta[@content='def']")
=> #<Hpricot::Elements[]>

如您所见 = 正在寻找完全匹配。

doc.search("//meta[@content~='def']")
=> #<Hpricot::Elements[{emptyelem <meta content="abcxy def ghi jklmn">}]>

使用 ~ 我们可以进行子字符串匹配；但并不是真正的你所期望的。

例如请参阅以下内容。

doc.search("//meta[@content~=' def ']")
=> #<Hpricot::Elements[]>

看来空间是经过特殊处理的。

有了star我们就可以解决这个问题。现在我们正在进行真正的子字符串匹配。

doc.search("//meta[@content*=' def ']")
=> #<Hpricot::Elements[{emptyelem <meta content="abcxy def ghi jklmn">}]>

我们还可以进行字符串开始和字符串结束匹配，如下所示：

doc.search("//meta[@content^='def']")
=> #<Hpricot::Elements[]>

doc.search("//meta[@content^='ab']")
=> #<Hpricot::Elements[{emptyelem <meta content="abcxy def ghi jklmn">}]>

doc.search("//meta[@content$='mn']")
=> #<Hpricot::Elements[{emptyelem <meta content="abcxy def ghi jklmn">}]>

请注意，对于这些空格字符来说不是问题。

doc.search("//meta[@content$=' jklmn']")
=> #<Hpricot::Elements[{emptyelem <meta content="abcxy def ghi jklmn">}]>

Answer 2

这应该做：

doc.search("span[@class^='foo'][@class$='bar']")

Answer 3

可以在解析之前修改传入的 html。

html = open("http://scrape.example.com/search?q=#{ticker_symbol}").string
html.gsub!(/class="(foo_\d+_bar)"/){ |s| "class=\"foo_bar #{$1}\"" }
doc = Hpricot(html)

之后，您可以使用 foo_bar 类来识别元素。这远非优雅或通用，但可能被证明更有效。