如何用客户端ip实现分布式爬虫

发布于 2022-09-03 09:46:10 字数 117 浏览 14 评论 0

如果用服务端爬虫会遇到各种问题,如何实现访客打开网页时用访客的ip访问被爬的网站,然后把资料上传,这样可以实现分布式爬虫吗?ajax获取被爬的资料然后传到自己的服务器?

是否已有类似的例子或者开源项目?

如果你对这篇内容有疑问,欢迎到本站社区发帖提问 参与讨论,获取更多帮助,或者扫码二维码加入 Web 技术交流群。

扫码二维码加入Web技术交流群

发布评论

需要 登录 才能够评论, 你可以免费 注册 一个本站的账号。

评论(2

ζ澈沫 2022-09-10 09:46:10

你这是在窃取用户隐私,行不通的~

新雨望断虹 2022-09-10 09:46:10

基本原理是创建一个隐藏的iframe然后请求目标网站,请求成功后使用ajax保存到本地服务器。。因为许多网站都做了反爬虫策略,所以服务端爬虫经常失效,这种情况下使用客户端爬虫很好用。

但是,用户体验不太好吧。。。。

~没有更多了~
我们使用 Cookies 和其他技术来定制您的体验包括您的登录状态等。通过阅读我们的 隐私政策 了解更多相关信息。 单击 接受 或继续使用网站,即表示您同意使用 Cookies 和您的相关数据。
原文