如何使用 mechanize 抓取谷歌阅读器（使用 cookie）

Question

我正在尝试抓取谷歌阅读器，但我遇到了问题...我希望登录谷歌阅读器并获得有效的cookie...然后尝试进入此页面：

'http://www.google.es/reader/atom/user/-/state/com.google/reading-list'

如果我的cookie有效并且我已登录我只需要输入“user/-/”，它将进入我的谷歌阅读器的XML版本......

理论上......我登录谷歌阅读器内部并重定向......然后我复制我的SID ....我使用它创建一个手动cookie，并

http://code.google.com/p/pyrfeed/wiki/GoogleReaderAPI

name SID
domain .google.com
path /
expires 1600000000

使用我的cookie创建谷歌阅读器的API信息我尝试在里面输入：

'http://www.google.es/reader/atom/user/-/state/com.google/reading-list'

但它不起作用....我想我正在创建我的cookie不好的方式，但我阅读了有关 CookieJar 和 Mechanize::Cookie 的 API，但我没有找到任何有关如何使用它的示例......我已经尝试过有不同的方法，但都不起作用...请有人可以帮助我如何使用这个cookie...

Answer 1

我们使用 iMacros 进行所有网络抓取（部分免费/开源，部分商业）。效果很好。无论您使用什么，您都需要能够自动化真实网络浏览器的东西。其他选项是 Selenium 或 Watir，尽管它们更适合 Web 测试。