使用WebMagic采集的一个问题
我正在使用WebMagic采集zhihu的时候发现一个问题.
zhihu.com使用到了CDN技术,我使用WebMagic调试中发现了SSL握手过程中返回给我的证书,并非是zhihu.com的证书,而是锤子的证书(smartisan.com).
然后我查看Smartisan.com的网站同样使用到了CDN技术,然后最终访问到的IP都是 182.247.229.139. 我使用的是云南的DNS为61.166.150.123;
想问下各位在使用采集过程中,有么有遇到和我同样的问题,如何解决的?
如果你对这篇内容有疑问,欢迎到本站社区发帖提问 参与讨论,获取更多帮助,或者扫码二维码加入 Web 技术交流群。
绑定邮箱获取回复消息
由于您还没有绑定你的真实邮箱,如果其他用户或者作者回复了您的评论,将不能在第一时间通知您!
发布评论
评论(2)
是啊.问题找到了,不知道怎么解决,也是心累啊.
吃瓜群众表示,应该不会有人回答你的疑难杂症