pyspider如何去重复url的？
我想把多个项目的结果存在一起，希望A项目爬过的站点，在B项目中不要再爬了，可以做到吗？
如果你对这篇内容有疑问，欢迎到本站社区发帖提问 参与讨论，获取更多帮助，或者扫码二维码加入 Web 技术交流群。
绑定邮箱获取回复消息
由于您还没有绑定你的真实邮箱，如果其他用户或者作者回复了您的评论，将不能在第一时间通知您！
我想把多个项目的结果存在一起，希望A项目爬过的站点，在B项目中不要再爬了，可以做到吗？
由于您还没有绑定你的真实邮箱，如果其他用户或者作者回复了您的评论，将不能在第一时间通知您！
接受 或继续使用网站，即表示您同意使用 Cookies 和您的相关数据。
发布评论
评论（2）
你不能把 A 和 B 写在一个项目里面吗？
怎么定义「爬过的站点」？
召唤数据库吧，sqlite3就够用了