java获取其他网页登入后的后台数据
最近需要收集一些别的网站上的数据，用的httpclient抓包倒是能够把数据抓出来，但是一旦抓取频率加快，登入后的页面就会退出来，程序也就跟着停了。好纠结，到底怎么弄才能持续抓取，而使程序不会停止，或者能够让他持续的时间长一点（最好一天）呢？
如果你对这篇内容有疑问，欢迎到本站社区发帖提问 参与讨论，获取更多帮助，或者扫码二维码加入 Web 技术交流群。
绑定邮箱获取回复消息
由于您还没有绑定你的真实邮箱，如果其他用户或者作者回复了您的评论，将不能在第一时间通知您！
发布评论
评论（6）
使用代理IP会不会存在因携带的数据而不能执行？我不太懂代理IP，主要是访问肯定要携带数据，携带的数据（用工具fiddler获取）如果是真正的IP好获取，但是代理IP所携带的数据会怎么获取呢.？请大神指教0.0.。
就是代理IP所携带的数据会一样吗？
回复
抓取频率快了就会被退出，IP代理就是模拟多个来源，跟你的业务没有影响
使用IP代理，每个线程一个Ip，控制好频率
要是真能这样就好了0.0.。需求害死人
多找几个网站 来会切换着抓取。 哈哈