webmagic 抓取数据在时候遇到非法访问
最近开始尝试做个爬虫，挑了挑，后来选了 webmagic ，从一个网站上也抓下来数据了感觉蛮好。可是换了个网站发现这网站的数据在页面是没有的，都是通过ajax请求得到的，更悲剧的是人家还做了拦截器，不能直接模拟浏览器访问ajax那些取数据的链接地址。这可怎么办？急求解决方案。。。
如果你对这篇内容有疑问，欢迎到本站社区发帖提问 参与讨论，获取更多帮助，或者扫码二维码加入 Web 技术交流群。
绑定邮箱获取回复消息
由于您还没有绑定你的真实邮箱，如果其他用户或者作者回复了您的评论，将不能在第一时间通知您！
发布评论
评论（3）
无解了？那就是说？
这个没有什么办法吧 人家就是不想让你爬
爬虫ajax的页面参考文档http://webmagic.io/docs/zh/posts/chx-cases/js-render-page.html
如果人家做了拦截那就无解了 ，除非知道别人拦截的规则是什么，有没有办法绕过