PHP-如何采集防采集网站的数据

发布于 2017-10-02 09:52:06 字数 170 浏览 1259 评论 5

最近做数据采集,发现浏览器可以直接打开,用view-source方式也可以查看到源代码,但是采用PHP去抓取数据的时候,出现403,使用工具模拟浏览器去采集数据也是出现同样的情况。不知道有没有办法可以解决这样的问题。
以下是采集的网站http://yyk.39.net/area-gz-0-0-1-1-2.shtml

如果你对这篇内容有疑问,欢迎到本站社区发帖提问 参与讨论,获取更多帮助,或者扫码二维码加入 Web 技术交流群。

扫码二维码加入Web技术交流群

发布评论

需要 登录 才能够评论, 你可以免费 注册 一个本站的账号。

评论(5

想挽留 2017-10-24 12:50:56

附上userAgent, 或者抓包分析!
采用firefox分析多判断 ,有些网站会判断cookies 之类的情况。建议用curl模拟!

归属感 2017-10-21 07:10:22

见招拆招,伪装成搜索引擎,赋上所有的头信息,观察有没有其他校验参数,如果是ajax请求的数据,就直接请求

晚风撩人 2017-10-16 00:01:27

用Chrome的网络工具把请求头记录下来,然后你伪造的请就的带上这些数据。记得Cookie和Referer、Useragent也带上。

夜无邪 2017-10-15 04:41:03

GET后能正常接收数据,请自查;

灵芸 2017-10-03 09:51:22

附上userAgent, 或者抓包分析!

~没有更多了~
我们使用 Cookies 和其他技术来定制您的体验包括您的登录状态等。通过阅读我们的 隐私政策 了解更多相关信息。 单击 接受 或继续使用网站,即表示您同意使用 Cookies 和您的相关数据。
原文