使用 Nokogiri & 解析和重新格式化数据的最有效方法西纳特拉

Question

我正在为一些汽车经销商的库存管理器重新格式化搜索查询的 HTML 输出。没有直接的数据库访问，服务创建者没有提供任何信息，因此我决定尝试使用 Nokogiri 解析和重新格式化数据，并根据搜索查询生成新的结果页面。

第一次加载页面时，我只是使用默认搜索来生成第一个结果。

为了使搜索正常进行，我将查询发送到如下 URL：

post '/search/?:search_query' do
  url = "http://domain.com/v/?DealerId=" + settings.dealer_id + "&maxrows=10&#{params[:search_query]}"
  doc = Nokogiri::HTML(open(url))
  doc.css("td:nth-child(5) .ForeColor4").each do |msrp|
    session["msrp"] = msrp.inner_html
  end  
  doc.css("td:nth-child(4) .ForeColor4").each do |price|
    session["price"] = price.inner_html
  end
  erb :index    
end

我知道必须有一种更智能的方法来做到这一点。

编辑：

请求数据的示例 URL：

http://domain.com/?DealerId=1234&object=list&lang=en&MAKE=&MODEL=&maxrows=50&MinYear=&MaxYear=2011&Type=N&MinPrice=&MaxPrice=&STYLE=&ExtColor=&MaxMiles=&StockNo=

生成的 HTML 的描述：

不幸的是，它是旧代码，几乎完全基于表格，具有内联样式，并且在大多数区域中缺少类或 id。

CSS 选择器的示例：

td:nth-child(5) .ForeColor4

XPath 选择器：

//td[(((count(preceding-sibling::*) + 1) = 5) and parent::*)]//*[contains(concat( " ", @class, " " ), concat( " ", "ForeColor4", " " ))]

我也考虑过 mechanize 或 hpricot 作为可能性，但我不知道最适合这项工作的工具，因为我以前没有尝试过屏幕抓取。

摘要：我想从 HTML 中提取数据，暂时将其存储在变量/会话/cookie 中（数据每天更改几次），然后能够将输出重新格式化为我自己的 HTML /CSS 样式。

Answer 1

就我个人而言，我会将抓取与用户操作分离。有一个独立的流程来抓取和填充您的数据库。这将极大地提高性能，因为每个操作的获取、创建 DOM、解析、然后渲染输出都会变得很慢。

Answer 2

  doc.css("td:nth-child(5) .ForeColor4").each do |msrp|
    session["msrp"] = msrp.inner_html
  end  
  doc.css("td:nth-child(4) .ForeColor4").each do |price|
    session["price"] = price.inner_html
  end

您可能想要使用 Nokogiri 的 at_css() 方法而不是常规的 css()。 at_css() 查找目标的第一次出现并仅返回该节点，类似于针对 .css().first代码> 返回。

这会将您的查找简化为这种形式：

session["msrp"] = doc.at_css("td:nth-child(5) .ForeColor4").inner_html

我可能会在测试到查找末尾时添加类似 rescue 'msrp Lookup failed' 的内容，以防万一您遇到了错误的访问器。或者，当 inner_html() 疯狂地尝试从 nil 读取时，您可以让代码失败。这只是一种更友好的调试方式。

否则你的查找似乎还不错。