pyspider深度爬取网站用户
如题，主要是考虑其如何保证爬取爬取的用户不出现重复，不想重复爬取。如果想用pyspider做的话
如果你对这篇内容有疑问，欢迎到本站社区发帖提问 参与讨论，获取更多帮助，或者扫码二维码加入 Web 技术交流群。
绑定邮箱获取回复消息
由于您还没有绑定你的真实邮箱，如果其他用户或者作者回复了您的评论，将不能在第一时间通知您！
如题，主要是考虑其如何保证爬取爬取的用户不出现重复，不想重复爬取。如果想用pyspider做的话
由于您还没有绑定你的真实邮箱，如果其他用户或者作者回复了您的评论，将不能在第一时间通知您！
接受 或继续使用网站，即表示您同意使用 Cookies 和您的相关数据。
发布评论
评论（4）
pyspider好像默认不爬取重复url,设置一个时间，这短时间内酒不会重复爬取这个数据了，
你说的用户如果一个网页中有很多用户话，这个就要你自己实现去重了
我是把每个采集结果存到一个数据库里,每次保存的时候判断下是否在数据库中已经存在了,在on_result里.
用bloomfilter过滤重复的用户名/uid，每次都查数据库开销大
age设为-1，就永远不爬取重复的URL