使 LWP Useragent 更快

发布于 2024-08-11 00:31:18 字数 111 浏览 6 评论 0原文

我需要执行大量的 HTTP post 请求,并忽略响应。我目前正在使用 LWP::UserAgent 执行此操作。尽管我不确定它是否正在等待响应或什么,但它似乎运行得有点慢,是否有办法加快速度并可能忽略响应?

I need to perform a large number of HTTP post requests, and ignore the response. I am currently doing this using LWP::UserAgent. It seems to run somewhat slow though I am not sure if it is waiting for a response or what, is there anyway to speed it up and possibly just ignore the responses?

如果你对这篇内容有疑问,欢迎到本站社区发帖提问 参与讨论,获取更多帮助,或者扫码二维码加入 Web 技术交流群。

扫码二维码加入Web技术交流群

发布评论

需要 登录 才能够评论, 你可以免费 注册 一个本站的账号。

评论(2

猫性小仙女 2024-08-18 00:31:18

bigian 的答案可能是最好的,但另一种加快速度的方法是使用 LWP::ConnCache 来允许 LWP 重用现有连接,而不是为每个请求构建新连接。

如果您只在一个站点上进行操作,那么启用它就是这么简单 -

my $conn_cache = LWP::ConnCache->new;
$conn_cache->total_capacity([1]) ;
$ua->conn_cache($conn_cache) ;

我发现这可以使 http 站点上的某些操作的速度加倍,对于 https 站点而言,速度可以提高一倍以上。

bigian's answer is probably the best for this, but another way to speed things up is to use LWP::ConnCache to allow LWP to re-use existing connections rather than build a new connection for every request.

Enabling it is this simple if you're pounding on just one site --

my $conn_cache = LWP::ConnCache->new;
$conn_cache->total_capacity([1]) ;
$ua->conn_cache($conn_cache) ;

I've found this to double the speed of some operations on http site, and more than double it for https sites.

云雾 2024-08-18 00:31:18

LWP::Parallel

http://metacpan.org/pod/LWP::Parallel

"简介

ParallelUserAgent 是现有 libwww 模块的扩展,它允许您获取 URL 列表(它当前支持 HTTP、FTP 和 FILE URL。HTTPS 也可以工作)并并行连接到所有这些。 /em>,然后等待结果出来。”

太棒了,它对我来说创造了奇迹......

LWP::Parallel

http://metacpan.org/pod/LWP::Parallel

"Introduction

ParallelUserAgent is an extension to the existing libwww module. It allows you to take a list of URLs (it currently supports HTTP, FTP, and FILE URLs. HTTPS might work, too) and connect to all of them in parallel, then wait for the results to come in."

It's great, it's worked wonders for me...

~没有更多了~
我们使用 Cookies 和其他技术来定制您的体验包括您的登录状态等。通过阅读我们的 隐私政策 了解更多相关信息。 单击 接受 或继续使用网站,即表示您同意使用 Cookies 和您的相关数据。
原文