数据采集-如何做网站数据抓取并修改而不被对方封

发布于 2016-12-27 16:27:29 字数 297 浏览 1318 评论 1

最近在做一个项目,大概是如此:
1. 自动登录。在我的软件M中输入A网站的普通用户帐号密码,进行自动登录;
2. 登录后台自动爬到目标页面,进行目标页面的信息采集(text,javascript内容等),并将信息放入软件M中;
3. 对软件M中显示的从A目标网页获取的信息进行修改,并将修改信息同步到A网站中的相应位置(还是text,JavaScript内容等);
4. 对操作进行保存(A和M中)。
5. 问题来了:由于这些抓取、修改请求都来自一个服务器,操作频繁后就被A网站禁用了。请问需要用什么才能不让对方封了呢?

如果你对这篇内容有疑问,欢迎到本站社区发帖提问 参与讨论,获取更多帮助,或者扫码二维码加入 Web 技术交流群。

扫码二维码加入Web技术交流群

发布评论

需要 登录 才能够评论, 你可以免费 注册 一个本站的账号。

评论(1

泛泛之交 2017-04-08 02:29:30

1,修改请求的useragent,模拟普通用户的useragent
2, 获取不同页面时,增加一定的间隔时间
3,如无业务上的要求,每次抓取的时间尽量随机
一句话,尽量模拟普通用户的操作

~没有更多了~
我们使用 Cookies 和其他技术来定制您的体验包括您的登录状态等。通过阅读我们的 隐私政策 了解更多相关信息。 单击 接受 或继续使用网站,即表示您同意使用 Cookies 和您的相关数据。
原文