爬虫运行两次时会产生重复项吗？

Question

我在 python 中使用爬虫框架“scrapy”，并使用 pipelines.py 文件将我的项目以 json 格式存储到文件中。执行此操作的代码如下所示 它

class AYpiPipeline(object):
def __init__(self):
    self.file = open("a11ypi_dict.json","ab+")


# this method is called to process an item after it has been scraped.
def process_item(self, item, spider):
    d = {}    
    i = 0
# Here we are iterating over the scraped items and creating a dictionary of    dictionaries.
try:
    while i<len(item["foruri"]):
        d.setdefault(item["foruri"][i],{}).setdefault(item["rec"][i],{})[item["foruri_id"][i]] = item['thisurl'] + ":" + item["thisid"][i]
    i+=1
except IndexError:
    print "Index out of range"
    # Writing it to a file
    json.dump(d,self.file)
return item

问题是，当我运行爬虫两次（比如说）时，在我的文件中，我得到重复的抓取项目。我尝试通过先从文件中读取数据，然后将数据与要写入的新数据进行匹配，但读取的数据来阻止 文件中的内容是 json 格式，所以我用 json.loads() 函数对其进行解码，但它不起作用：

import json 

class AYpiPipeline(object):
    def __init__(self):
        self.file = open("a11ypi_dict.json","ab+")
        self.temp = json.loads(file.read())
    
    # this method is called to process an item after it has been scraped.
    def process_item(self, item, spider):
        d = {}    
        i = 0
        # Here we are iterating over the scraped items and creating a dictionary of    dictionaries.
        try:
            while i<len(item["foruri"]):
            d.setdefault(item["foruri"][i],{}).setdefault(item["rec"][i],{})[item["foruri_id"][i]] = item['thisurl'] + ":" + item["thisid"][i]
            i+=1
        except IndexError:
            print "Index out of range"
        # Writing it to a file
    
             if d!=self.temp: #check whether the newly generated data doesn't match the one already in the file
                  json.dump(d,self.file)
        return item
    .

请建议一种方法来执行此操作。

注意：请注意，我必须以“追加”模式打开文件，因为我可能会抓取一组不同的链接，但使用相同的 start_url 运行爬虫两次应该将相同的数据写入文件两次

Answer 1

您可以使用一些自定义中间件过滤掉重复项，例如this。不过，要在蜘蛛中实际使用它，您还需要两件事：某种为项目分配 id 的方法，以便过滤器可以识别重复项，以及某种在蜘蛛运行之间保留访问过的 id 集的方法。第二个很简单——您可以使用像 shelve 这样的 Python 风格的东西，或者您可以使用当今流行的许多键值存储之一。不过，第一部分会比较困难，并且取决于您要解决的问题。