pyspider 通过rate调节速度,到了一个速度后不在加速

发布于 2022-09-04 17:26:44 字数 200 浏览 12 评论 0

我用Pyspider爬去数据,通过rate调节速度。但是我发现,几乎rate设置为20多和100差不多一个效果大概都是每五分钟5000左右

想问下,pyspider有什么速度的限制吗。

另外发现,对于有些网络不怎么稳定的网站,速度明显下降,tornado不是异步的吗,大概就是一个每分钟1000,另一个每分钟100这样子,就算下降速度也不可能下降这么多啊

如果你对这篇内容有疑问,欢迎到本站社区发帖提问 参与讨论,获取更多帮助,或者扫码二维码加入 Web 技术交流群。

扫码二维码加入Web技术交流群

发布评论

需要 登录 才能够评论, 你可以免费 注册 一个本站的账号。

评论(1

晚风撩人 2022-09-11 17:26:44
  1. project 的队列中是否有足够多的任务,如果任务是运行中产生的,那么要等前一个任务产生了才会被执行下去

  2. 保证你的 burst 足够大,至少不小于 rate,rate 2-5 倍为佳

  3. fetcher 是有并发数限制的,如果你网络状况允许,运行多个 fetcher,并增大单个 fetcher 的并发数。

  4. 通过 dashboard 上方队列状态,分析瓶颈在哪。

~没有更多了~
我们使用 Cookies 和其他技术来定制您的体验包括您的登录状态等。通过阅读我们的 隐私政策 了解更多相关信息。 单击 接受 或继续使用网站,即表示您同意使用 Cookies 和您的相关数据。
原文