mechanize-ruby

mechanize-ruby

文章 0 浏览 5

调节/速率限制红宝石机械化

我需要调节 Mechanize 实例与 API 连接的频率(每 2 秒一次,因此限制连接到该或更多) 所以这样: instance.pre_connect_hooks << Proc.new { sleep …

在你怀里撒娇 2025-01-04 05:51:59 1 0

机械化前/后连接钩

使用 Mechanize,我需要找到某种方法将请求限制为每秒 1 个(或每 5 秒 1 个,或每分钟 2 个,等等,重点是找到某种方法来限制请求的速率)。 搜索,…

暮年慕年 2025-01-03 18:24:49 1 0

如何从 Mechanize::Page 的搜索方法获取 Mechanize 对象?

我正在尝试抓取一个只能依靠类和元素层次结构来找到正确节点的网站。但是使用 Mechanize::Page#search 返回 Nokogiri::XML::Element 我无法使用它来填…

梦晓ヶ微光ヅ倾城 2025-01-02 11:02:42 1 0

红宝石机械化 + https 链接导致 ruby​​ 段错误(安装了 rvm)

我按照指南中指定的说明使用 mechanize,但是当我尝试获取 HTTPS 页面时,出现段错误。 require 'rubygems' require 'mechanize' agent = Mechanize.n…

有深☉意 2024-12-26 16:24:08 4 0

Ruby Mechanize:点击链接

在 Mechanize on Ruby 中,我必须为我访问的每个新页面分配一个新变量。例如: page2 = page1.link_with(:text => "Continue").click page3 = page2.l…

北方的韩爷 2024-11-19 17:50:26 4 0

捕捉机械化 404 =>网络::HTTPNotFound

我编写了处理 url 获取的简单函数: def tender_page_get url, agent sleep(rand(6)+2) begin return agent.get(url).parser rescue Errno::ETIMEDOUT…

梦屿孤独相伴 2024-11-05 10:02:39 6 0

有人知道 Ruby Mechanize 的缓存插件吗?

我有一个基于 Mechanize 的 Ruby 脚本来抓取网站。我希望通过在本地缓存下载的 HTML 页面来加快速度,以使整个“调整输出 -> 运行 -> 调整输出”循环…

偏爱自由 2024-10-31 05:18:39 6 0

如何设置“基本 URL”对于 Webrat,机械化

我想指定一个基本 URL,这样我就不必总是指定绝对 URL。如何指定 Mechanize 使用的基本 URL?…

酷炫老祖宗 2024-10-25 03:36:47 13 0

“sysread”:使用 Ruby 和 mysql 时系统调用中断 (Errno::EINTR)

我正在使用 mechanize 抓取一个网站并推送到 mysql 数据库。我经常收到这些系统读取错误,但我不确定解决方案是什么。我正在使用 Ruby-mysql gem。…

妞丶爷亲个 2024-10-23 23:39:45 7 0

Ruby Mechanize 表抓取无法捕获整行

我正在尝试用 mechanize 抓取一个表格网站。 我想刮第二行。 当我运行: agent.page.search('table.ea').search('tr')[-2].search('td').map{ |n| n.t…

能否归途做我良人 2024-10-17 22:10:37 13 0

Firefox 和 Ruby Mechanize 之间的表单参数差异

我试图弄清楚 mechanize 是否发送正确的帖子查询。 我想登录论坛(请参阅 html source, mechanize log 在我的其他问题中),但我再次只得到登录页面。…

花心好男孩 2024-08-20 02:25:49 9 0

使用奇怪的 https 形式 RoR 进行机械化

我正在使用 RoR 尝试使用mechanize在我的大学搜索一个简单的表单。该代码适用于搜索谷歌,但在结果中返回搜索表单?我真的很困惑。有什么建议吗?谢谢…

比忠 2024-08-14 13:38:09 8 0

Ruby - 使用 WWW::Mechanize 和 NET::HTTP::GET 的 Socks4 代理

我在谷歌上搜索并阅读了 ruby​​ 手册,但我找不到通过socks4代理使用WWW::Mechanize和NET::HTTP::GET的方法。 我读到,WWW::Mechanize 是 UserAgent…

妄想挽回 2024-08-14 03:44:50 9 0

使用 www::mechanize 时的 Iconv::IllegalSequence

我正在尝试进行一些网络抓取,但 WWW:Mechanize gem 似乎不喜欢编码并且崩溃。 post 请求导致 302 重定向(机械化遵循,到目前为止一切顺利),并且生…

巴黎盛开的樱花 2024-07-14 02:55:50 18 0
更多

推荐作者

Promise

文章 0 评论 0

qq_lbRlsh

文章 0 评论 0

待"谢繁草

文章 0 评论 0

yy2010hell

文章 0 评论 0

漫无边际

文章 0 评论 0

傲娇萝莉攻

文章 0 评论 0

更多

友情链接

    我们使用 Cookies 和其他技术来定制您的体验包括您的登录状态等。通过阅读我们的 隐私政策 了解更多相关信息。 单击 接受 或继续使用网站,即表示您同意使用 Cookies 和您的相关数据。
    原文