调节/速率限制红宝石机械化
我需要调节 Mechanize 实例与 API 连接的频率(每 2 秒一次,因此限制连接到该或更多) 所以这样: instance.pre_connect_hooks << Proc.new { sleep …
如何从 Mechanize::Page 的搜索方法获取 Mechanize 对象?
我正在尝试抓取一个只能依靠类和元素层次结构来找到正确节点的网站。但是使用 Mechanize::Page#search 返回 Nokogiri::XML::Element 我无法使用它来填…
红宝石机械化 + https 链接导致 ruby 段错误(安装了 rvm)
我按照指南中指定的说明使用 mechanize,但是当我尝试获取 HTTPS 页面时,出现段错误。 require 'rubygems' require 'mechanize' agent = Mechanize.n…
Ruby Mechanize:点击链接
在 Mechanize on Ruby 中,我必须为我访问的每个新页面分配一个新变量。例如: page2 = page1.link_with(:text => "Continue").click page3 = page2.l…
捕捉机械化 404 =>网络::HTTPNotFound
我编写了处理 url 获取的简单函数: def tender_page_get url, agent sleep(rand(6)+2) begin return agent.get(url).parser rescue Errno::ETIMEDOUT…
有人知道 Ruby Mechanize 的缓存插件吗?
我有一个基于 Mechanize 的 Ruby 脚本来抓取网站。我希望通过在本地缓存下载的 HTML 页面来加快速度,以使整个“调整输出 -> 运行 -> 调整输出”循环…
“sysread”:使用 Ruby 和 mysql 时系统调用中断 (Errno::EINTR)
我正在使用 mechanize 抓取一个网站并推送到 mysql 数据库。我经常收到这些系统读取错误,但我不确定解决方案是什么。我正在使用 Ruby-mysql gem。…
Ruby Mechanize 表抓取无法捕获整行
我正在尝试用 mechanize 抓取一个表格网站。 我想刮第二行。 当我运行: agent.page.search('table.ea').search('tr')[-2].search('td').map{ |n| n.t…
Firefox 和 Ruby Mechanize 之间的表单参数差异
我试图弄清楚 mechanize 是否发送正确的帖子查询。 我想登录论坛(请参阅 html source, mechanize log 在我的其他问题中),但我再次只得到登录页面。…
使用奇怪的 https 形式 RoR 进行机械化
我正在使用 RoR 尝试使用mechanize在我的大学搜索一个简单的表单。该代码适用于搜索谷歌,但在结果中返回搜索表单?我真的很困惑。有什么建议吗?谢谢…
Ruby - 使用 WWW::Mechanize 和 NET::HTTP::GET 的 Socks4 代理
我在谷歌上搜索并阅读了 ruby 手册,但我找不到通过socks4代理使用WWW::Mechanize和NET::HTTP::GET的方法。 我读到,WWW::Mechanize 是 UserAgent…
使用 www::mechanize 时的 Iconv::IllegalSequence
我正在尝试进行一些网络抓取,但 WWW:Mechanize gem 似乎不喜欢编码并且崩溃。 post 请求导致 302 重定向(机械化遵循,到目前为止一切顺利),并且生…
- 共 1 页
- 1