使用WebMagic采集的一个问题

发布于 2021-11-30 06:24:12 字数 291 浏览 912 评论 2

我正在使用WebMagic采集zhihu的时候发现一个问题.

zhihu.com使用到了CDN技术,我使用WebMagic调试中发现了SSL握手过程中返回给我的证书,并非是zhihu.com的证书,而是锤子的证书(smartisan.com).

然后我查看Smartisan.com的网站同样使用到了CDN技术,然后最终访问到的IP都是 182.247.229.139. 我使用的是云南的DNS为61.166.150.123;

想问下各位在使用采集过程中,有么有遇到和我同样的问题,如何解决的?

如果你对这篇内容有疑问,欢迎到本站社区发帖提问 参与讨论,获取更多帮助,或者扫码二维码加入 Web 技术交流群。

扫码二维码加入Web技术交流群

发布评论

需要 登录 才能够评论, 你可以免费 注册 一个本站的账号。

评论(2

酒几许 2021-12-02 23:03:58

是啊.问题找到了,不知道怎么解决,也是心累啊.

蓝颜夕 2021-12-01 08:24:20

吃瓜群众表示,应该不会有人回答你的疑难杂症

~没有更多了~
我们使用 Cookies 和其他技术来定制您的体验包括您的登录状态等。通过阅读我们的 隐私政策 了解更多相关信息。 单击 接受 或继续使用网站,即表示您同意使用 Cookies 和您的相关数据。
原文