当前位置： 文江博客话题详情

webmagic爬取的链接如何去重呢

发布于 2021-11-29 21:50:19 字数 157 浏览 778 评论 2

@黄亿华 你好，想跟你请教个问题：我要对一个新闻网站进行定时爬取，昨天得到的链接今天怎么避免重复爬取到呢……

如果你对这篇内容有疑问，欢迎到本站社区发帖提问 参与讨论，获取更多帮助，或者扫码二维码加入 Web 技术交流群。

扫码二维码加入Web技术交流群

发布评论

需要 登录 才能够评论， 你可以免费 注册 一个本站的账号。

评论（2）

情痴 2021-12-03 05:36:56

呃…这个去重是说队列中的url吧，如果我想和一周前的采集过的url进行比较去重呢？

回复
一人独醉 2021-12-02 19:57:12

通过Scheduler管理URL

回复
~没有更多了~

关于作者

梦中楼上月下

暂无简介

0 文章
0 评论
612 人气
发私信

相关话题

更多

热门标签

操作系统 程序设计 IT运维 Linux系统管理 JavaScript 服务器应用 solaris C/C++ PHP Shell BSD Vue.js aix Oracle Python HTML 系统管理 HTML5 CSS 前端
更多

推荐作者

留蓝

文章 0 评论 0

18790681156

文章 0 评论 0

zach7772

文章 0 评论 0

Wini

文章 0 评论 0

ayeshaaroy

文章 0 评论 0

初雪

文章 0 评论 0

更多

友情链接

文江博客
    我们使用 Cookies 和其他技术来定制您的体验包括您的登录状态等。通过阅读我们的 隐私政策 了解更多相关信息。 单击 接受 或继续使用网站，即表示您同意使用 Cookies 和您的相关数据。
    原文