遵循重定向并编码为 UTF-8 的 Screen scaper

Question

我正在寻找一个 gem（或 gem 的组合），它可以在给定 URL 的情况下以 UTF-8 返回页面内容。如果 URL 发生更改，它也应该遵循重定向。

有谁知道这样的吗？

谢谢！

Answer 1

你看过Nokogiri吗？它似乎可以满足您在编码方面的需求：

编码：

字符串始终存储为 UTF-8
内部。返回文本的方法
值将始终返回 UTF-8
编码的字符串。返回的方法
XML（如 to_xml、to_html 和
inside_html) 将返回一个字符串
像源文档一样编码。

您还可以使用 Mechanize 自动执行一些屏幕抓取操作（点击链接、提交表单等）。 Mechanize 建立在 Nokogiri 之上，因此它是对其的一个很好的补充。

您可能想观看一些网络广播：

• Nokogiri：
  http://railscasts.com/episodes/190-screen-scraping-with-nokogiri机械化
• ：
  http://railscasts.com/episodes/191-mechanize