webmagic是怎么处理相对路径的?貌似只能抓取绝对路径?

发布于 2021-11-30 17:10:20 字数 150 浏览 825 评论 5

@黄亿华 你好,想跟你请教个问题:webmagic是怎么处理相对路径的?貌似只能抓取绝对路径?

如果你对这篇内容有疑问,欢迎到本站社区发帖提问 参与讨论,获取更多帮助,或者扫码二维码加入 Web 技术交流群。

扫码二维码加入Web技术交流群

发布评论

需要 登录 才能够评论, 你可以免费 注册 一个本站的账号。

评论(5

青萝楚歌 2021-11-30 19:15:51

相对路径替换错了。

南冥有猫 2021-11-30 19:15:32

1.点评有防抓取策略,和相对/绝对URL没关系,具体的无法透露。 2.推荐使用开放API获取数据,构建你的应用,http://developer.dianping.com/。

伪装你 2021-11-30 19:14:13

我要抓取www.dianping.com里的链接,但是里面的连接都是以 <li> <a href="/search/category/16/10/g103" 这种形式,我用regex(".*search.*"')抓取不到。

风柔一江水 2021-11-30 19:09:53

相对路径会被替换为绝对路径,因为单独的相对路径,离开当前页面就无效了,是无法抓取的!请问你是什么场景一定要用相对路径?

~没有更多了~
我们使用 Cookies 和其他技术来定制您的体验包括您的登录状态等。通过阅读我们的 隐私政策 了解更多相关信息。 单击 接受 或继续使用网站,即表示您同意使用 Cookies 和您的相关数据。
原文