如何将数据从一个管道发送到另一个管道中

Question

您好，我有两个管道，第一个下载照片：

class ModelsPipeline(ImagesPipeline):
    def get_media_requests(self, item, info):
        for image_url in item['image_urls']:
            yield scrapy.Request(image_url)

    def file_path(self, request, response=None, info=None, *, item=None):
        image_url_hash = hashlib.shake_256(request.url.encode()).hexdigest(5)
        image_filename = f'{item["name"]}/{image_url_hash}.jpg'

        return image_filename

    def item_completed(self, results, item, info):
        image_paths = [x['path'] for ok, x in results if ok]

        for image in image_paths:
            file_extension = os.path.splitext(image)[1]
            img_path = f'{IMAGES_STORE}{image}'
            md5 = hashlib.md5(open(img_path, 'rb').read()).hexdigest()
            img_destination = f'{IMAGES_STORE}{item["name"]}/{md5}{file_extension}'
            os.rename(img_path, img_destination)

        return item

第二个是将以前的信息存储在数据库中的

class DatabasePipeline():

    def open_spider(self, spider):
        self.client = db_connect()

    def close_spider(self, spider):
        self.client.close()

    def process_item(self, item, spider):
        self.client.upsert(item)

Item_completed函数在第一个管道中，返回一个名称和我想发送到第二个管道的路径，以便存储在数据库中，但我无法访问该数据。

问题是我该怎么做？

谢谢

Answer 1

您可以添加ModelsPipeline中该项目的名称和路径：

item['name_from_pipeline'] = name
item['path_from_pipeline'] = path
return item

在Databasepipeline的Process_item中，您可以访问它：

name = item['name_from_pipeline']
path = item['path_from_pipeline']

Answer 2

我最近遇到了同样的问题。
您需要启用两个管道并将较低的优先级分配给数据库epipeline，如以下内容。较高的数字意味着较低的优先级
。

因此，数据将首先由ModelsPipeline然后由DataBasepipeline处理。
切记在模型pipeline过程中返回该项目

ITEM_PIPELINES = {
   "project_name.pipelines.ModelsPipeline": 300, 
   "project_name.pipelines.DatabasePipeline": 302,
}