pyspider如何手动判断某个url是否已经爬取过

Question

想实现爬列表页的时候，发现有已经被爬过的文章url就停止列表爬取，否则继续下一页，如何实现？

Answer 1

可以基于爬取过的url计算md5值，放在redis数据库里面，爬取的时候判断一下在不在就可以了，redis的效率很高，不用担心效率问题

import hashlib
import redis


def md_url(url):
    md5 = hashlib.md5()
    md5.update(url.encode('utf-8'))
    return md5.hexdigest()


def exist_or_not(finger_print):
    # 0 指纹已经存在代表
    ex = conn.sadd('urls', finger_print)
    return ex

Answer 2

爬过的url写进记录里面,比如pickle文件。需要的时候调出来检查一下就知道了。