webmagic如何处理指定网页的所有评论页

发布于 2021-12-02 20:05:49 字数 347 浏览 817 评论 2

当获取的网页内容含有评论时,获取的第二页评论里,又有三个跳转页,这种怎么处理比较好,每跳转一次,链接地址就在当前地址上叠加了,要怎么才能固定成直接的页面地址?

如果你对这篇内容有疑问,欢迎到本站社区发帖提问 参与讨论,获取更多帮助,或者扫码二维码加入 Web 技术交流群。

扫码二维码加入Web技术交流群

发布评论

需要 登录 才能够评论, 你可以免费 注册 一个本站的账号。

评论(2

月牙弯弯 2021-12-07 02:35:51

昨天不可以,今天再试就可以翻页了。。。

谁的新欢旧爱 2021-12-03 06:24:04

直接在第一页就用 links() 获取完所有翻页的页面地址,后面的翻页后不再追加页面获取的连接可否解决?

~没有更多了~
我们使用 Cookies 和其他技术来定制您的体验包括您的登录状态等。通过阅读我们的 隐私政策 了解更多相关信息。 单击 接受 或继续使用网站,即表示您同意使用 Cookies 和您的相关数据。
原文