捕捉机械化 404 =>网络::HTTPNotFound
我编写了处理 url 获取的简单函数: def tender_page_get url, agent sleep(rand(6)+2) begin return agent.get(url).parser rescue Errno::ETIMEDOUT…
有人知道 Ruby Mechanize 的缓存插件吗?
我有一个基于 Mechanize 的 Ruby 脚本来抓取网站。我希望通过在本地缓存下载的 HTML 页面来加快速度,以使整个“调整输出 -> 运行 -> 调整输出”…
“sysread”:使用 Ruby 和 mysql 时系统调用中断 (Errno::EINTR)
我正在使用 mechanize 抓取一个网站并推送到 mysql 数据库。我经常收到这些系统读取错误,但我不确定解决方案是什么。我正在使用 Ruby-mysql gem。…
Ruby Mechanize 表抓取无法捕获整行
我正在尝试用 mechanize 抓取一个表格网站。 我想刮第二行。 当我运行: agent.page.search('table.ea').search('tr')[-2].search('td').map{ |n| n.t…
Firefox 和 Ruby Mechanize 之间的表单参数差异
我试图弄清楚 mechanize 是否发送正确的帖子查询。 我想登录论坛(请参阅 html source, mechanize log 在我的其他问题中),但我再次只得到登录页面。…
使用奇怪的 https 形式 RoR 进行机械化
我正在使用 RoR 尝试使用mechanize在我的大学搜索一个简单的表单。该代码适用于搜索谷歌,但在结果中返回搜索表单?我真的很困惑。有什么建议吗?谢谢…
Ruby - 使用 WWW::Mechanize 和 NET::HTTP::GET 的 Socks4 代理
我在谷歌上搜索并阅读了 ruby 手册,但我找不到通过socks4代理使用WWW::Mechanize和NET::HTTP::GET的方法。 我读到,WWW::Mechanize 是 UserAgent…
使用 www::mechanize 时的 Iconv::IllegalSequence
我正在尝试进行一些网络抓取,但 WWW:Mechanize gem 似乎不喜欢编码并且崩溃。 post 请求导致 302 重定向(机械化遵循,到目前为止一切顺利),并且生…
- 共 1 页
- 1