2亿++的网址,怎样快速确认网页状态码?

发布于 2022-09-04 21:18:02 字数 37 浏览 25 评论 0

用requests写了个多线程,感觉有点慢,还有其他方法么?

如果你对这篇内容有疑问,欢迎到本站社区发帖提问 参与讨论,获取更多帮助,或者扫码二维码加入 Web 技术交流群。

扫码二维码加入Web技术交流群

发布评论

需要 登录 才能够评论, 你可以免费 注册 一个本站的账号。

评论(5

╄→承喏 2022-09-11 21:18:02

使用 Tornado 的 curl 客户端支持,读到请求头就关闭连接。(我还没试过。如果它提供的 HTTP 客户端不支持中途关闭连接的话,可以像我这样使用 TCP 然后用 http-parser 来解析。)

好吧,其实你可以直接给 fetchtitle 加个取状态码的扩展就可以了……(记得装 pycurl 哦)

水水月牙 2022-09-11 21:18:02

python本来就慢,想速度快就直接写tcp请求然后读回复,读到状态后就关掉socket。

物价感观 2022-09-11 21:18:02

使用grequests,对requests进行了并发封装

https://github.com/kennethrei...

流年里的时光 2022-09-11 21:18:02

这种情况可以考虑使用gevent,tornado,scrapy-redis,asyncio!

度的依靠╰つ 2022-09-11 21:18:02

Head请求能快一点吧?

~没有更多了~
我们使用 Cookies 和其他技术来定制您的体验包括您的登录状态等。通过阅读我们的 隐私政策 了解更多相关信息。 单击 接受 或继续使用网站,即表示您同意使用 Cookies 和您的相关数据。
原文