Mechanize 无法通过 CSS 选择器方法识别锚标记

Question

（希望这不是违反礼仪：我在 RailsForum 上发布了此内容，但最近我没有从那里得到太多回应。）还有

其他人遇到过 Mechanize 无法通过 CSS 选择器识别锚标记的问题吗？

HTML 看起来像这样（为了清晰起见，删除了空白的片段）：

<td class='calendarCell' align='left'>
<a href="http://www.mysite.org/index.php/site/ActivitiesCalendar/2010/02/10/">10</a>
<p style="margin-bottom:15px; line-height:14px; text-align:left;">
<span class="sidenavHeadType">
 Current Events</span><br />
<b><a href="http://www.mysite.org/index.php/site/
Clubs/banks_and_the_fed" class="a2">Banks and the Fed</a></b>
<br />
10:30am- 11:45am
</p>

我正在尝试从这些事件中收集数据。除了在

中获取锚点之外，一切正常。 内显然有一个 标记，我需要点击该链接来获取有关此事件的更多详细信息。

在我的 rake 任务中，我有：

agent.page.search(".calendarCell,.calendarToday").each do |item|
  day = item.at("a").text

  item.search("p").each do |e|
    anchor   = e.at("a")
    puts anchor
    puts e.inner_html

  end
end

有趣的是 item.at("a") 总是返回锚点。但 e.at("a") 返回 nil。当我在 p 元素上执行inner_html 时，它完全忽略锚点。示例输出：

nil

<span class="sidenavHeadType">
 Photo Club</span><br><b>Indexing Slide Collections</b>
<br>
2:00pm- 3:00pm

但是，当我直接使用 Nokogiri 运行相同的抓取时：

doc.css(".calendarCell,.calendarToday").each do |item|
  day = item.at_css("a").text
  item.css("p").each do |e|
    link     = e.at_css("a")[:href]
    puts e.inner_html
  end
end

它会识别 的内部

，并且会返回 href 等。Mechanize

<span class="sidenavHeadType">
 Bridge Party</span><br><b><a href="http://www.mysite.org/index.php/site/Clubs/party_bridge_51209" class="a2">Party Bridge</a></b>
<br>
7:00pm- 9:00pm

应该使用 Nokogiri，所以我想知道我是否有一个错误的版本或者如果这也会影响其他人。

感谢您提供任何线索。

Answer 1

没关系。虚惊。在我的 Nokogiri 任务中，我指向包含锚点的页面的本地副本。实时页面需要登录，因此当我浏览它时，我可以看到 a 标签。将登录添加到 rake 任务中解决了这个问题。